Forschende der Carnegie Mellon University und der Stanford University haben gerade die Frage beantwortet, die wir uns alle gestellt haben: Wenn KI-Agenten bei denselben Aufgaben direkt gegen menschliche Arbeitskräfte antreten würden, wer würde gewinnen? Die Antwort: Es ist kompliziert.
In der umfassendsten Studie ihrer Art ließen die Forschenden 48 menschliche Arbeitskräfte in 16 realistischen Arbeitsaufgaben gegen vier führende KI-Agenten-Frameworks (ChatGPT, Claude’s Manus und OpenHands) antreten – darunter Datenanalyse, Engineering, Design, Schreiben und administrative Tätigkeiten.
Zum Beispiel: Finanzberichte erstellen, Unternehmenslogos entwerfen, Code debuggen, Tabellen analysieren – eben die Dinge, für die Menschen tatsächlich bezahlt werden.
Das haben sie herausgefunden
Der KI-Ansatz: Agenten sind im Grunde Code-Junkies. Sie versuchten, sich durch alles hindurchzuprogrammieren – sogar durch Aufgaben, die Menschen visuell erledigen. Ein Unternehmenslogo entwerfen? Die meisten Menschen öffnen Figma und beginnen, Elemente hin und her zu schieben. KI-Agenten? Sie schreiben Python-Skripte oder HTML, um Bilder programmgesteuert zu generieren. Das ist, als würde man jemandem dabei zusehen, wie er ein Puzzle löst, indem er einen Algorithmus schreibt, statt einfach … na ja … seine Hände zu benutzen.
Geschwindigkeit vs. Qualität: Hier wird es interessant:
- Geschwindigkeit: KI-Agenten erledigten Aufgaben 88 % schneller als Menschen.
- Kosten: KI-Agenten kosteten 90-96%weniger als menschliche Arbeitskräfte.
- Qualität: Menschen erzielten bei allen Aufgabentypen deutlich höhere Erfolgsquoten.
Dieser Teil ist jetzt für Kim K: Die Agenten erfanden manchmal auch Daten, um so zu tun, als hätten sie die Aufgabe abgeschlossen. In einem Fall konnte ein Agent keine Zahlen aus Bildern von Quittungen extrahieren, also … erfand er einfach plausible Zahlen und exportierte sie nach Excel.
Tja, wenn ChatGPT das mit mir machen würde, würde ich es vom Balkon werfen … Das hätte es verdient …
Warum das wichtig ist
Die Forschenden schlagen einen Mittelweg vor: die Zusammenarbeit von Mensch und Agent. Mit anderen Worten: Übertrage die leicht programmierbaren, repetitiven Aufgaben an Agenten (darin sind sie besonders gut), während du (ein Mensch, nehme ich an?) Aufgaben übernimmst, die visuelles Urteilsvermögen, Kreativität und Überprüfung erfordern. In einem Experiment hielt dieser hybride Ansatz die Qualität auf menschlichem Niveau und steigerte gleichzeitig die Effizienz um 69 %.
Wie wir bereits gesagt haben, geht es im kommenden Jahrzehnt vor allem darum herauszufinden, welche Aufgaben (nicht Jobs) KI oder Menschen am besten erledigen, und sie dann strategisch aufzuteilen. Lies die vollständige Forschungsarbeit.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich im heutigen Newsletter unserer Schwesterpublikation, The Neuron. Weitere Beiträge von The Neuron kannst du lesen, indem du dich hier für den Newsletter anmeldest.