Die ARC Prize Foundation hat diesen Monat die neueste Version ihres beliebten Benchmarks vorgestellt: ARC-AGI-2 (auch bekannt als Abstraction and Reasoning Corpus). Der aktuelle Benchmark-Test ist noch anspruchsvoller als das ursprüngliche Modell namens ARC-AGI-1, das 2019 veröffentlicht wurde.
Laut Greg Kamradt, President der Arc Prize Foundation, „legt ARC-AGI-2 die Messlatte für KI deutlich höher“.
Analyse der ersten Ergebnisse
Der Benchmark ARC-AGI-2 besteht aus einer Reihe von Rätseln, die von einer KI gelöst werden müssen. Nachdem die ARC Prize Foundation den Test mehr als 400 Menschen vorgelegt hatte, legte sie eine menschliche Baseline für ihre Tests fest.
- Menschliches Panel: durchschnittlich 60 % bei Kosten von 17 US-Dollar pro Aufgabe.
Aktuelle generative KI-Tools, schnitten allerdings nicht so gut ab.
- OpenAI o1-pro: 1 % bei Kosten von 200 US-Dollar pro Aufgabe.
- OpenAI o3-mini-high: 0,0 % bei Kosten von 0,41 US-Dollar pro Aufgabe.
- OpenAI GPT-4.5: 0,0 % bei Kosten von 0,29 US-Dollar pro Aufgabe.
- DeepSeek-R1 und R1-Zero: 0,3 % bei Kosten von 0,08 US-Dollar pro Aufgabe.
- Anthropic Claude 3.7: 0,0 % bei Kosten von 0,120 US-Dollar pro Aufgabe.
- Google Gemini 2.0 Flash: 1,3 % bei Kosten von 0,004 US-Dollar pro Aufgabe.
Das menschliche Panel übertraf die großen Sprachmodelle (LLMs) und KI-Systeme, die mit ARC-AGI-2 bewertet wurden, bei Weitem. Doch welche Datensätze wurden für die Tests verwendet?
Analyse der Datensätze
Der Benchmark ARC-AGI-2 umfasst insgesamt vier Datensätze.
- Training: 1.000 nicht kalibrierte öffentliche Aufgaben.
- Public Eval: 120 kalibrierte öffentliche Aufgaben.
- Semi-Private Eval: 120 kalibrierte private Aufgaben.
- Private Eval: 120 kalibrierte private Aufgaben.
Aufgaben gelten als kalibriert, wenn sie unabhängig und identisch verteilt sind. Dieser Kalibrierungsansatz, wie von TechCrunch ausführlich erläutert, stellt sicher, dass die Ergebnisse über diese Datensätze hinweg direkt vergleichbar bleiben.
ARC Prize 2025: Der Hauptpreis beträgt 700.000 US-Dollar
Im März 2025 wurde außerdem der ARC Prize 2025 angekündigt, der auf den Benchmarks und Datensätzen von ARC-AGI-2 basiert. Mit einem Hauptpreis von 700.000 US-Dollar fordert der Wettbewerb KI-Entwickler dazu auf, im privaten Evaluierungsdatensatz von ARC-AGI-2 eine Genauigkeit von 85 % zu erreichen.
Um teilnahmeberechtigt zu sein, dürfen die Arten von KI-Modellen , die um den Preis konkurrieren, nicht mehr als 0,42 US-Dollar pro Aufgabe ausgeben. Außerdem müssen sie die Evaluierung ohne Internetzugang abschließen.
Teilnehmer am ARC Prize 2025 müssen ihre Einreichung bis zum 3. November 2025 fertigstellen. Forschende können außerdem Whitepaper einreichen und sich damit um einen Hauptpreis von 75.000 US-Dollar bewerben. Einsendeschluss für die Beiträge ist der 9. November 2025.
Welches KI-Modell auch immer im privaten Evaluierungsdatensatz die höchste Punktzahl erzielt, wird zum Sieger erklärt. Die eingereichten Beiträge werden anhand eines standardisierten Bewertungsrasters beurteilt.