Kennst du diese Momente, in denen du eine neue App herunterlädst, zwei Minuten damit herumprobierst und einfach herausfindest, wie sie funktioniert? Kein Tutorial, keine Anleitung?
Wie sich herausstellt, kann KI das nicht. Überhaupt nicht.
Die ARC Prize Foundation hat gerade ARC-AGI-3 veröffentlicht, einen neuen Benchmark (standardisierten Test für KI), der messen soll, ob KI spontan neue Dinge lernen kann – so wie Menschen. Statt Wissensfragen zu beantworten oder Code zu schreiben, erkunden KI-Agenten unbekannte interaktive Umgebungen und lösen Rätsel, die sie noch nie zuvor gesehen haben.
„AGI“ (also künstliche allgemeine Intelligenz) ist die Ziellinie, auf die jedes große KI-Unternehmen zurast: eine KI, die jede neue Aufgabe ohne spezielles Training bewältigt.
AGI ist ein wichtiges Ziel. OpenAI hat seine Produktsparte gerade in „AGI Deployment“ umbenannt. Jensen Huang sagte, AGI sei „bereits im Raum“. OpenAIs nächstes Modell mit dem Codenamen „Spud“ könnte das erste sein, das sie als AGI bezeichnen. ARC-AGI-3 soll diese Behauptungen tatsächlich auf die Probe stellen.
Das geschah nach dem Start
- Jedes führende Modell erzielte weniger als 1 %. Gemini 3.1 Pro: 0,37 %. GPT-5.4: 0,26 %. Claude Opus 4.6: 0,25 %. Grok 4.2: 0 %.
- 100 % der menschlichen Tester lösten jede Umgebung beim ersten Versuch. Keine Anleitungen, kein Training.
- Der Benchmark testet 135 neuartige Umgebungen (~1.000 Level) und misst, wie effizient die KI sie im Vergleich zu Menschen löst.
- Ein Wettbewerb mit einem Preisgeld von 2 Millionen US-Dollar läuft auf Kaggle, und du kannst die öffentlichen Spiele selbst ausprobieren.
Warum das wichtig ist: Nicht alle sind sich einig, dass der Test fair ist.
Bei der Bewertung wird eine quadratische Effizienzstrafe verwendet (wenn ein Mensch 10 Schritte braucht und die KI 100, erzielt die KI 1 %). Die KI kann nicht besser abschneiden als Menschen, selbst wenn sie effizienter ist, Menschen bekommen hingegen Bonuspunkte, wenn sie effizienter sind als die KI. Modelle mit erweitertem Denkprozess wurden ausgeschlossen. Der Kritiker @scaling01 argumentierte, die Methodik sei darauf ausgelegt, niedrige Ergebnisse zu produzieren.
ARC-Gründer François Chollet konterte mit einem tiefergehenden Argument: Die heutigen Modelle funktionieren nur dann gut, wenn Menschen ein aufwendiges Gerüst um sie herum bauen (spezifische Prompts, maßgeschneiderte Harnesses, Denk-Tricks). Das Gerüst ist die menschliche Intelligenz; das Modell führt es lediglich aus. Wenn es wirklich AGI ist, dürfte kein Mensch in den Prozess eingebunden sein.
Fällt dir etwas Interessantes auf? Wir streiten nicht mehr darüber, ob KI intelligent ist. Wir streiten darüber, wie man Intelligenz misst.
Unsere Einschätzung
Die eigentliche Frage ist nicht, ob die heutigen Modelle den Test bestehen (irgendwann werden sie es).
Sondern ob das Training mit riesigen Datensätzen und der aktuellen Architektur jemals echte Anpassungsfähigkeit hervorbringen kann – oder ob etwas grundlegend anderes nötig ist. Der NYU-Professor Saining Xie legte provokant dar, dass LLMs die „Anti-Bitter-Lesson“ seien, weil sie vollständig auf von Menschen erzeugtem Wissen aufbauen, statt aus unmittelbarer Erfahrung zu lernen (mehr dazu in der neuen Folge unseres Podcasts!).
Die Modelle, die ARC-AGI-3 irgendwann knacken, werden nicht einfach nur intelligenter sein; sie werden eine andere Art von Intelligenz besitzen. Die Art, auf die es ankommt, wenn dir AGI wirklich wichtig ist. Wenn nicht, sind die heutigen Modelle vollkommen brauchbare Werkzeuge … sie werden nur immer potenziell Milliarden an menschlicher Betreuung durch Training benötigen. Vielleicht ist das auch besser so.
Anmerkung der Redaktion: Dieser Beitrag erschien ursprünglich im Newsletter unserer Schwesterpublikation, The Neuron. Weitere Beiträge von The Neuron kannst du hier für den Newsletter abonnieren.