Künstliche Intelligenz beweist ihren Wert beim Generieren von Texten, Erkennen von Bildern und Automatisieren von Prozessen, doch KI-Systeme stoßen beim Versuch, anspruchsvolle mathematische Denkaufgaben zu lösen, an ihre Grenzen. Ein wegweisender neuer Benchmark des Forschungsunternehmens Epoch AI namens FrontierMath ergab, dass selbst die fortschrittlichsten KI-Systeme von heute, darunter GPT-4o und Gemini 1,5 Pro, weniger als 2 Prozent der mathematischen Denkaufgaben lösten, mit denen sie konfrontiert wurden – selbst nach stundenlanger Arbeit.
Benchmarks sind notwendig, um die Fortschritte von KI zu verstehen und zu messen. Laut dem Produktmarketing von Epoch AI kann FrontierMath „beurteilen, wie gut KI-Systeme komplexes wissenschaftliches Denken bewältigen“, weil „mathematische Probleme rigoros und automatisch überprüft werden können“ – anders als in Bereichen, in denen subjektive Einschätzungen und kostspielige Tests zur Bewertung eingesetzt werden.
So schnitten die Modelle ab
Epoch AI stellt Beispielaufgaben bereit, mit deren Lösung sich Mathematikerinnen und Mathematiker stundenlang beschäftigen – etwa zur Überprüfung von Artins Vermutung über primitive Wurzeln oder zur Bestimmung des Polynoms vom Grad 19. Die aktuellen KI-Modelle erhielten vor der Bearbeitung der anspruchsvollen mathematischen Aufgaben „umfassende Unterstützung, um ihre Leistung zu maximieren“, darunter Zugriff auf Python-Umgebungen zum Testen und Überprüfen. Diese Unterstützung reichte jedoch nicht aus, um sie darauf vorzubereiten.
„FrontierMath hat sich für die heutigen KI-Systeme als außerordentlich anspruchsvoll erwiesen“, berichtete Epoch AI.
Die KI-Systeme erzielten bei einfacheren Mathematik-Benchmarks wie GSM8K und MATH hohe Werte – über 90 Prozent –, kamen bei den anspruchsvollen Aufgaben jedoch nur auf etwa 2 Prozent. Alle FrontierMath-Aufgaben wurden zuvor nicht veröffentlicht, um Bedenken hinsichtlich einer Verunreinigung der Daten bei bestehenden Benchmarks auszuräumen.
In einem Blogbeitrag zum neuen Benchmark erklärte der Mathematiker Evan Chen, dass sich FrontierMath seiner Ansicht nach in einigen Punkten von traditionellen Mathematikwettbewerben wie der International Mathematical Olympiad (IMO) oder Putnam unterscheidet. IMO-Aufgaben vermeiden Spezialwissen und komplexe Berechnungen, während FrontierMath beides ausdrücklich zulässt. Zwar testen alle diese Wettbewerbe laut Chen kreatives Gespür, doch FrontierMath „kehrt“ zwei weitere Eigenschaften für die Gestaltung einer Aufgabe „regelrecht um“: Sie sollte keinen großen Implementierungsaufwand erfordern und elementar sein.
„Weil ein KI-System über eine weitaus größere Rechenleistung verfügt“, schrieb Chen, „ist es tatsächlich möglich, Aufgaben mit leicht überprüfbaren Lösungen zu entwerfen – nach demselben Prinzip wie bei IOI oder Project Euler: Im Grunde wird ‚einen Beweis schreiben‘ durch ‚einen Algorithmus in Code implementieren‘ ersetzt.“
Bewertung von KI-Systemen: Wie geht es weiter?
Um bei der Bewertung festzustellen, ob KI-Systeme über mathematische Denkfähigkeiten auf Forschungsniveau verfügen, erklärte Epoch AI, werde es die folgenden Schritte unternehmen, um den Benchmark wertvoller zu machen während sich die KI-Systeme weiterentwickeln:
- Regelmäßige Bewertungen führender KI-Modelle
- Erweiterung des Benchmarks
- Veröffentlichung zusätzlicher Aufgaben für die Öffentlichkeit
- Verschärfung der Qualitätskontrolle
Epoch AI erklärte, der FrontierMath-Benchmark sei in Zusammenarbeit mit mehr als 60 Mathematikerinnen und Mathematikern führender Institutionen entwickelt worden. Er deckt das gesamte Spektrum der modernen Mathematik ab – von der algorithmischen Zahlentheorie bis zur abstrakten algebraischen Geometrie.