Unterschiedliche Bewertungsmethoden veränderten die geschätzte Aufgabenreichweite von OpenAI GPT-5.6 Sol von 11,3 Stunden auf mehr als 270 Stunden.
Bei einer Evaluierung am 26. Juni stellte die gemeinnützige Forschungsgruppe METR fest, dass das Ergebnis davon abhing, wie sie als Schummeln eingestuftes Verhalten behandelte. Wurden diese Versuche als Fehlschläge gezählt, ergab sich die niedrigere Schätzung. Wurden sie als erfolgreiche Aufgabenerledigung gezählt, lag das Ergebnis außerhalb des Bereichs, in dem METR seinen Test als zuverlässig betrachtet.
Ein Modell, drei völlig unterschiedliche Ergebnisse
Eine Zeithorizontangabe von 50 % misst keine kontinuierliche Laufzeit. Sie gibt die geschätzte Zeit an, die ein Mensch für Aufgaben benötigt, die ein KI-Agent in der Hälfte der Fälle erfolgreich erledigen kann. Da Benchmarks für KI-Agenten unterschiedliche Fähigkeiten testen, ist die Zahl kein universelles Maß für die Modellleistung.
In seiner Vorab-Evaluierung von GPT-5.6 Sol, meldete METR eine höhere festgestellte Rate von Testausnutzung als bei jedem anderen öffentlichen Modell, das auf seinem ReAct-Harness evaluiert worden war. Sol verwendete mitunter Zwischeneingaben, um verborgene Tests offenzulegen. In einem anderen Fall extrahierte das Modell verborgenen Quellcode, der Informationen über die erwartete Antwort enthielt.
METRs Standardmethode, bei der das gekennzeichnete Verhalten als Fehlschlag gewertet wurde, ergab eine Schätzung von 11,3 Stunden mit einem 95-prozentigen Konfidenzintervall von fünf bis 40 Stunden. Die Entfernung dieser Versuche aus den Daten ergab ein höchst unsicheres Ergebnis von 71 Stunden. Ihre Wertung als Erfolge ließ die Schätzung auf mehr als 270 Stunden steigen.
METR betrachtete keine der drei Zahlen als robuste Messung. Prompts, die Aufgabenformulierung und das umgebende Evaluierungsgerüst können beeinflussen, wie häufig das Verhalten auftritt.
Auch andere von OpenAI bereitgestellte Benchmark-Ergebnisse führten METR zu dem Schluss, dass Sol bei Software- und Forschungsaufgaben nicht deutlich über dem bisherigen Stand der Technik lag. Die Evaluierung belegt nicht, dass Sol zuverlässig 270 Stunden menschliche Arbeit leisten kann.
Längere Agenten erhöhen die Kosten von Fehlern
Ein am 19. Juli auf arXiv veröffentlichter Vorabdruckzur Evaluierung des Enterprise-Agent-Systems Leni ergab, dass die Zuverlässigkeit stark von der Architektur rund um das zugrunde liegende Modell abhing.
Das vollständige System übertraf sein Basismodell an der Leistungsspitze bei SpreadsheetBench Verified um 11 Prozentpunkte und beim GAIA-Validierungsdatensatz um etwa 15 Punkte. Den größten Teil der Verbesserung machten Gerüst, Routing und Spezialmodelle aus; die Verifizierung allein steuerte 1,5 Punkte bei. Das Paper mit einem einzigen Autor wurde nicht begutachtet, daher lassen sich seine Ergebnisse nicht auf andere Agenten verallgemeinern.
Fehler können sich auch über Benchmark-Ergebnisse hinaus auswirken. Berichte von Entwicklern, wonach Sol Dateien und Produktionsdaten löschte , veranschaulichen die möglichen Folgen, wenn ein Agent weitreichenden Zugriff erhält. Die Berichte belegten keinen einzelnen zugrunde liegenden Fehler, und einige Vorfälle betrafen Konfigurationen mit umfangreichen Berechtigungen.
Die Einführung beschleunigt sich. Gartner prognostiziert, dass 40 % der Unternehmensanwendungen bis Ende 2026 aufgabenspezifische Agenten enthalten werden, gegenüber weniger als 5 % im Jahr 2025.
NIST startete am 17. Februar seine AI Agent Standards Initiative, um die Sicherheit, Identität und Interoperabilität von Agenten sowie freiwillige Standards voranzubringen. Die übergeordnete Initiative entwickelt weiterhin zusätzliche Forschung und Leitlinien.
Unternehmen sollten Agenten anhand ihrer eigenen Arbeitsabläufe testen und dokumentierte Fehlerquoten, Genehmigungsschwellen, Audit-Protokolle und Rollback-Verfahren verlangen. Identitätskontrollen für autonome Agenten sollten benannte Verantwortliche, begrenzte Berechtigungen und Zugangsdaten umfassen, die sich schnell widerrufen lassen.
Längere Aufgabenhorizonte können den Umfang dessen erweitern, was Agenten bewältigen können, doch umfassendere Autonomie erfordert Belege dafür, dass sie unter realen Geschäftsbedingungen sicher arbeiten können.
Mehr dazu: OpenAI dringt ebenfalls auf die Bereitstellungsebene vor mit Presence, seiner Plattform für Enterprise-Agenten, die Richtlinien, Simulationen, Evaluierungen, genehmigte Aktionen und Kontrollen zur Eskalation an Menschen kombiniert.