Eine bahnbrechende KI-Benchmark namens „Humanity’s Last Exam“ sorgt in der KI-Community für Aufsehen. Entwickelt vom Center for AI Safety (CAIS) in Zusammenarbeit mit Scale AI, soll sie der ultimative Test dafür sein, ob KI menschenähnliches Schlussfolgern, Kreativität und Problemlösung erreichen kann. Diese Eigenschaften unterscheiden echte Intelligenz von bloßer Nachahmung.
Humanity’s Last Exam wurde entwickelt, um die Grenzen dessen zu verschieben, was KI leisten kann. Die Benchmark fordert KI-Systeme dazu heraus, Fähigkeiten zu demonstrieren, die weit über traditionelle Aufgaben hinausgehen, und setzt damit einen neuen Standard für die Bewertung von KI.
Eine KI-Benchmark wie keine andere
Bei Humanity’s Last Exam geht es nicht darum, die reine Rechenleistung oder die Genauigkeit bei Aufgaben wie dem Zusammenfassen von Artikeln oder dem Erkennen von Bildern zu messen. Stattdessen bewertet sie allgemeine Intelligenz und ethisches Schlussfolgern. Die Benchmark fordert KI dazu heraus, Fragen in Mathematik, Wissenschaften und Logik zu lösen und sich zugleich mit moralischen Dilemmata und den Auswirkungen neuer Technologien auseinanderzusetzen.
„Wir wollten Probleme, die die Fähigkeiten der Modelle an der Grenze des menschlichen Wissens und Schlussfolgerns testen“, erklärte CAIS-Mitbegründer und Geschäftsführer Dan Hendrycks.
Ein herausragendes Merkmal der Benchmark ist die Einbeziehung von „Open-World“-Herausforderungen, bei denen es keine einzige richtige Antwort gibt. So könnte KI beispielsweise hypothetische Situationen analysieren, in denen ethische Erwägungen abgewogen und langfristige Konsequenzen vorhergesagt werden. Dieser ambitionierte Test fordert KI dazu heraus, kontextuelles Verständnis und Urteilsvermögen zu demonstrieren.
Wird KI zu intelligent?
Kritiker bezweifeln, ob Humanity’s Last Exam menschliche Eigenschaften zu stark in den Vordergrund rückt. Das entfacht Debatten über die praktische Anwendbarkeit der Benchmark und schürt die Befürchtung, dass KI eines Tages die menschliche Intelligenz übertreffen könnte. Ihre Befürworter argumentieren hingegen, dass Benchmarks wie diese unerlässlich sind, um die tatsächlichen Fähigkeiten von KI zu erforschen und ihre Grenzen offenzulegen. Indem sie Grenzen verschiebt, gewährt diese Prüfung einen wichtigen Einblick in die Zukunft der KI, eine Zukunft, die faszinierend und für manche auch etwas beunruhigend ist. Damit bleibt die Frage: Ist dies der Schlüssel zum Verständnis von KI, oder dringen wir in ein Gebiet vor, dem wir uns noch nicht gewachsen fühlen?
Was die Zukunft bringt
Die ersten Tests haben bereits begonnen, und große Akteure wie OpenAI, Anthropic und Google Deepmind nehmen daran teil. Bisher liegen die Modelle GPT-4 und GPT-o1 von OpenAI an der Spitze, doch keines der KI-Modelle hat die Marke von 50 Prozent… bisher. Hendrycks vermutet, dass die Ergebnisse der KI-Modelle bis zum Ende dieses Jahres über diese Marke steigen könnten. Ob sich Humanity’s Last Exam als unüberwindbare Herausforderung oder als Beginn einer neuen Ära der künstlichen allgemeinen Intelligenz erweisen wird, bleibt eine offene Frage.
Lesen Sie unsere Tests zu Grok, ChatGPT, und Gemini und beurteilen Sie ihre Intelligenz selbst.