Der Hype: KI-Agenten werden ganze Arbeitsabläufe automatisieren! Freiberufler ersetzen! Komplexe Aufgaben von Anfang bis Ende erledigen!
Die Realität: eine mickrige Erledigungsquote von 2–3 %.
Scale AI und CAIS haben gerade das Remote Labor Index (-Paper) veröffentlicht, einen Benchmark, bei dem KI-Agenten echte Aufgaben aus der Freelance-Arbeit bearbeiteten. Das leistungsstärkste Modell verdiente gerade einmal 1.810 US-Dollar von 143.991 US-Dollar an verfügbaren Aufträgen – und ja, es erledigte nur 2–3 % der Aufträge.
Dieser Benchmark ist ein dringend nötiger Realitätscheck für eine Branche, die unvorstellbare Billionen ausgibt wie Bond-Bösewichte und auf die Hypothese setzt, dass KI sämtliche Arbeit automatisieren wird. Und ganz ehrlich? Das sind nützliche Daten.
Das wurde getestet
Echte Aufgaben von Freelance-Plattformen. Keine Spielzeugprobleme oder akademischen Benchmarks, sondern tatsächliche Aufträge, für deren Erledigung Menschen bezahlt werden: Schreiben, Recherche, Dateneingabe und Designaufgaben.
Warum die Agenten Schwierigkeiten hatten:
- Mehrstufige Arbeitsabläufe mit unklaren Übergaben.
- Mehrdeutige Anforderungen, die wir Menschen im Gespräch klären.
- Aufgaben, die Ermessensentscheidungen und Kontext erfordern.
- Arbeit, die Iteration und Feedback von Kunden benötigt.
Was Agenten KÖNNEN: In Produktionsumgebungen erledigen kleine, fein abgestimmte Modelle alltägliche Routineaufgaben gut, während größere Modelle Arbeitsabläufe orchestrieren oder Sonderfälle bearbeiten. Dieses Setup funktioniert, ist aber eng begrenzt und wird von Menschen überwacht.
Diese Agenten bringen ebenfalls versteckte Kosten mit sich. Selbst wenn Agenten funktionieren, zeigt die jüngste Analyse von Rate Limited, dass „kostenlose“ Coding-Agenten Kosten verursachen: Ratenlimits, Latenz, Sicherheitsprüfungen und Nacharbeit. Man braucht Leitplanken und Budgets, keine blinde Automatisierung.
Das Gegenargument = eine neue Studie, die zeigt, dass 74 % der Unternehmen, die den GenAI-ROI tatsächlich messen, positive Renditen melden (vollständiger Bericht).
Warum das wichtig ist
Wir befinden uns in einer merkwürdigen Zwischenphase. KI kann Arbeit beeindruckend ergänzen, aber komplexe Aufgaben noch nicht an Fachkräfte aus Fleisch und Blut übergeben (das Middle-to-Middle-Problem). Wer diese Lücke versteht, kann realistische Erwartungen setzen.
Was kommt: bessere Agentenarchitekturen, engere Human-in-the-Loop-Arbeitsabläufe und spezialisierte Agenten für eng umrissene Bereiche. Fortschritte gibt es – sie kommen nur nicht (erfolgreich) so schnell, wie die KI-Unternehmen dich glauben machen wollen.
Das Fazit: Wenn dir jemand vollständig autonome KI-Arbeitskräfte verkaufen will, bitte um Erledigungsquoten für echte Aufgaben, die du jeden Tag erledigst … oder kauf es nicht.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich im heutigen Newsletter-Versand unserer Schwesterpublikation, The Neuron. Mehr von The Neuron kannst du hier über den Newsletter abonnieren.