Ein Unternehmen aktualisiert seine Daten, doch sein KI-Agent greift möglicherweise weiterhin auf veraltete Informationen zurück. Neue Forschungsergebnisse zeigen, dass selbst fortschrittliche Modelle Schwierigkeiten haben, widersprüchliche Daten zu interpretieren und festzustellen, welche Informationen zu einem bestimmten Zeitpunkt korrekt waren.
Forscher von KAIST und der Korea University stellten am 20. Oktober 2026 MMEnterprise-Bench vor, um zu testen, wie KI-Modelle sich ändernde Arbeitsplatzdaten interpretieren. Die Ergebnisse zeigen Schwächen bei der Auflösung widersprüchlicher Informationen und bei der Nachverfolgung von Änderungen in Dokumenten, Nachrichten und Bildern.
Je mehr Verantwortung Unternehmen KI-Agenten übertragen, desto stärker könnten veraltete Informationen Entscheidungen über Projektfristen, Finanzberichte und Kundendaten beeinflussen. Das korrekte Abrufen eines Dokuments garantiert noch keine richtige Antwort.
Wo KI-Agenten bei sich ändernden Daten an ihre Grenzen stoßen
Die Studie zu MMEnterprise-Bench bewertete 10 multimodale KI-Modelle anhand von 1.613 Fragen aus 30 simulierten Arbeitsplatzprojekten. Die 7.140 Datensätze umfassten Dokumente, Nachrichten und visuelle Materialien.
Die Forscher testeten die Informationsextraktion, die Auflösung von Konflikten und die Fähigkeit der Modelle, Fragen zu erkennen, für die keine ausreichenden Belege vorlagen.
Bei 10 abgerufenen Datensätzen erreichte das leistungsstärkste Modell, GPT-5.6 Sol, eine Gesamtgenauigkeit von 52,6 %. Bei Konflikten zwischen Quellen erzielte es 36,3 %, bei Fragen, die historische Informationen erforderten, 32,5 %.
Eine Erhöhung der Zahl der abgerufenen Datensätze auf 50 steigerte die Gesamtgenauigkeit auf 68 %. Die Leistungszuwächse fielen jedoch je nach Modell unterschiedlich aus – zusätzliche Belege führten also nicht durchgängig zu besseren Antworten.
Besonders schwierig erwiesen sich visuelle Informationen. GPT-5.6 Sol erreichte bei Fragen, die einen einzigen Textdatensatz erforderten, eine Genauigkeit von 83,3 %, verglichen mit 27,5 %, wenn mehrere Bilder benötigt wurden.
Da Unternehmen von KI-Copiloten zu autonomen Workflows übergehen, könnten diese Schwächen gravierendere Folgen haben. Agenten, die auf veralteten Informationen basieren, könnten Fehler in Prozesse einführen, die zuvor eine Überprüfung durch Mitarbeitende erforderten.
Unternehmens-KI braucht eine bessere Validierung von Daten
Organisationen, die Agenten mit Dokumentenarchiven und Geschäftsanwendungen verbinden, müssen mehr als nur die Genauigkeit des Abrufs testen. Systeme müssen überarbeitete Informationen von früheren Versionen unterscheiden und erkennen, wenn Datensätze einander widersprechen.
Das von Dataiku vorgeschlagene plattformübergreifende Tracking von KI-Agenten spiegelt die wachsende Nachfrage nach Transparenz über verschiedene Bereitstellungen hinweg wider. Die Aktivitäten von Agenten zu überwachen, bestätigt jedoch nicht die Richtigkeit der von ihnen verwendeten Informationen.
Unternehmensarchitekten sollten widersprüchliche Dokumente, historische Zeitstempel und Belege in unterschiedlichen Formaten testen, bevor sie Agenten Entscheidungen mit erheblichen Folgen unterstützen lassen. Bestehende Bedenken hinsichtlich KI-Governance und Nachvollziehbarkeit machen diese Prüfungen besonders relevant, während Organisationen ihre Automatisierung ausweiten.
Was eWeek herausgefunden hat: Mehr Belege helfen, doch die historische Genauigkeit hinkt weiterhin hinterher
MMEnterprise-Bench legt eine messbare Schwäche beim Schlussfolgern über sich ändernde Daten offen. Bei 10 abgerufenen Datensätzen erreichte GPT-5.6 Sol eine Genauigkeit von 67,5 % bei der Informationsextraktion, aber nur 32,5 % bei zeitlichen Konflikten – eine Lücke von 35 Prozentpunkten.
Die Ausweitung des Abrufs auf 50 Datensätze erhöhte die Gesamtgenauigkeit um 15,4 Prozentpunkte auf 68 %. Die Genauigkeit bei zeitlichen Konflikten stieg auf 56,1 %, sodass weiterhin ein erheblicher Anteil der Fragen falsch beantwortet wurde.
Die Ergebnisse ergänzen frühere Bewertungen von Unternehmensagenten, darunter Argo-Bench, das den Abschluss geschäftlicher Aufgaben statt des Schlussfolgerns über überarbeitete Informationen untersuchte. Die Benchmarks bewerten unterschiedliche Fähigkeiten und können nicht direkt anhand ihrer Punktzahlen verglichen werden.
MMEnterprise-Bench ist ein Forschungs-Preprint, der auf simulierten Arbeitsplatzdaten basiert. Er bewertet die Beantwortung von Fragen statt Live-Geschäftstransaktionen; seine Ergebnisse belegen daher keine Ausfallraten im Produktivbetrieb.
Bei Bereitstellungen mit Finanz-, Betriebs- oder Compliance-Daten sollte die Validierung auch die historische Genauigkeit und widersprüchliche Belege umfassen – nicht lediglich die Frage, ob ein Agent relevante Dokumente abgerufen hat.
Möchten Sie mehr Tipps, Tricks und Prompting-Techniken rund um KI kennenlernen? Lassen Sie sich zeigen, wie man mit KI spricht – kostenlos! Probieren Sie unseren sechminütigen Kurs bei The Neuron Academy aus, unserer praxisorientierten Lernplattform, die Berufstätigen helfen soll, KI bei der Arbeit selbstbewusster einzusetzen.
Erfahren Sie einige einfache Möglichkeiten, bessere Prompts zu schreiben und nützlichere Ergebnisse von der KI zu erhalten, oder testen Sie unseren anderen KI-Kurs sieben Tage lang kostenlos. eWeek-Leser erhalten sieben Tage kostenlosen Zugang. Alle Lektionen hier ansehen →