Wenn KI-Agenten Angestellte wären, würde Upworks neue Studie im Grunde sagen: Lasst sie nicht unbeaufsichtigt.
Upwork hat seinen neuen Human+Agent Productivity Index (HAPI) veröffentlicht und bezeichnet ihn als die erste groß angelegte Untersuchung der Branche dazu, wie menschliche Experten die Leistung von KI-Agenten bei echter Kundenarbeit verbessern. Nach Ansicht des Unternehmens stellen die Ergebnisse die Vorstellung infrage, KI-Agenten könnten ohne Aufsicht unabhängig arbeiten.
Andrew Rabinovich, CTO und Leiter der Bereiche KI und ML bei Upwork, fasste die zentrale Erkenntnis in einem Interview mit VentureBeat so zusammen: „KI-Agenten sind nicht besonders agentisch, das heißt, sie sind nicht besonders gut.“ Zugleich ergänzte er, Zusammenarbeit verändere das Bild: „Wenn sie mit menschlichen Fachkräften zusammenarbeiten, steigen die Abschlussquoten von Projekten deutlich.“
HAPI basiert auf mehr als 300 abgeschlossenen und bezahlten Marketplace-Projekten auf der Plattform. Upwork weist darauf hin, dass diese Aufgaben bewusst wegen ihrer Einfachheit ausgewählt wurden: Fast alle lagen unter 500 US-Dollar und machten weniger als 6 % des gesamten Bruttoservicesvolumens aus.
Warum die Studie wichtig ist
Die meisten KI-Benchmarks stützen sich auf synthetische Daten oder Tests im akademischen Stil. HAPI verwendet echte Kundenaufträge. Diese Aufgaben wurden von Freelancern erledigt und von Kunden bezahlt – dadurch bietet der Index einen seltenen Einblick in authentische Arbeit statt in kontrollierte Experimente.
Upwork zufolge zeigt dieser Ansatz, wie Arbeit auf dem weltgrößten Freelance-Marktplatz tatsächlich erledigt wird. Dort veröffentlichen rund 800.000 aktive Kunden jährlich mehr als 3 Millionen Aufträge.
HAPI steht außerdem im Einklang mit der übergeordneten Forschungsrichtung des Unternehmens, wie sie in seinem UpBench paper beschrieben wird. Auch dieser Benchmark konzentriert sich auf reale Aufträge, bewertungsmaßstabbasierte Prüfungen und menschliche Feedbackschleifen, um das Verhalten von KI-Agenten in beruflichen Umgebungen zu untersuchen.
Agenten allein tun sich schwer, doch Menschen bringen sie über die Ziellinie
In allen Kategorien hatten KI-Agenten, darunter auch solche, die von führenden Modellen angetrieben werden wie Gemini 2.5 Pro, GPT-5, und Claude Sonnet 4, häufig Schwierigkeiten, grundlegende Anforderungen zu erfüllen, wenn sie unabhängig arbeiteten. Sie übersahen Details, interpretierten Anweisungen falsch und scheiterten mitunter an einfachen Vorgaben zur Formatierung oder Datenverarbeitung.
Doch sobald ein erfahrener Freelancer eingriff, die Ausgabe prüfte und Korrekturen vorschlug, änderte sich die Situation schnell.
Upwork stellte fest:
- Die Abschlussquoten stiegen durch menschliche Anleitung um bis zu 70 %.
- Menschliche Prüfer benötigen pro Feedbackzyklus in der Regel etwa 20 Minuten.
- Bei Aufgaben in den Bereichen Schreiben, Übersetzung und Marketing gab es Verbesserungen von bis zu 17 Prozentpunkten.
- Einige Aufträge aus den Bereichen Engineering und Architektur legten um 23 Prozentpunkte zu.
Ein ähnliches Muster zeigt sich im UpBench-Datensatz: Cluster rund um Formatierung, Tabellenkalkulationen, Datenaktualisierungen, Übersetzungsgenauigkeit und Berichtsstruktur gehörten zu den häufigsten Bereichen, in denen Agenten ohne Anleitung scheiterten. Sobald Menschen eingriffen, gingen diese Fehler jedoch deutlich zurück.
Eigenständige Agenten schnitten bei technischen Aufgaben wie einfachem Programmieren oder Datenoperationen am besten ab, wenn die Regeln klar und die Ergebnisse leicht überprüfbar sind. Bei kreativer oder subjektiver Arbeit lieferten Menschen das Urteilsvermögen und die Nuancen, die Modelle nicht zuverlässig beisteuern konnten.
Das bedeutet: KI ist stark bei Struktur und Geschwindigkeit, Menschen bei Kontext und Bedeutung.
Die Wirtschaftlichkeit: Wann KI allein sinnvoll ist – und wann nicht
Upwork untersuchte außerdem die wirtschaftlichen Kosten von drei Ansätzen: ausschließlich KI, ausschließlich Menschen und Human-in-the-loop (HITL), also die Kombination aus Mensch und KI.
Bei Aufgaben mit sehr geringem Wert kann KI allein attraktiv sein, weil sie günstig ist – selbst wenn sie nicht perfekt arbeitet. Bei Projekten mittleren Werts liefert die Zusammenarbeit von Mensch und KI das beste Ergebnis. Bei komplexen oder besonders wertvollen Aufgaben bleibt die vollständige Einbindung von Menschen die zuverlässigste Option.
Arbeitsabläufe, die ausschließlich auf KI setzen, sparen bei trivialen Aufgaben Geld. Mit zunehmendem Aufgabenwert schützt menschliche Aufsicht jedoch vor kostspieligen Fehlern.
Wachsende Nachfrage nach KI-gestützter Arbeit
Upwork meldete kürzlich einen Anstieg der KI-bezogenen Aktivitäten um 53 % im Jahresvergleich. Angetrieben wird dieser Trend von Freelancern, die Automatisierung nutzen, um Routineaufgaben zu erledigen und sich so auf die komplexeren Teile ihrer Arbeit konzentrieren zu können.
Diese Entwicklung passt nahtlos zur künftigen Strategie des Unternehmens, in deren Zentrum Uma steht, ein „Meta-Orchestrierungsagent“, der die Zusammenarbeit von Menschen und KI steuern soll. Umas Aufgabe besteht darin, wie ein intelligenter Projektmanager zu agieren und zu entscheiden, welche Teile eines Auftrags ein Agent übernehmen kann und welche einen menschlichen Experten erfordern – mit dem Ziel, hochwertige und effiziente Ergebnisse sicherzustellen.
„Wir wollen keine Agenten entwickeln, die die Aufgaben tatsächlich erledigen. Stattdessen entwickeln wir diesen Meta-Orchestrierungsagenten, der herausfindet, welche menschlichen und agentischen Kompetenzen nötig sind, um die Aufgaben abzuschließen“, sagte Rabinovich gegenüber VentureBeat.
Rabinovich zufolge schafft dieser Wandel neue, hochwertige Chancen für Fachkräfte. Er glaubt, dass „einfachere Aufgaben von Agenten automatisiert werden“, die Jobs selbst aber „hinsichtlich der Zahl der Aufgaben deutlich komplexer werden. Dadurch werden der Arbeitsumfang und folglich auch die Einnahmen der Freelancer tatsächlich nur zunehmen“.
Ein aktueller Blick darauf, wie KI die Arbeitswelt der Generation Z verändert veranschaulicht denselben Trend: Automatisierung beschleunigt die Produktivität, während menschliche Experten Genauigkeit und strategische Entscheidungsfindung sicherstellen.