OpenAI hat Berichten zufolge Probleme mit seinem nächsten Modell für künstliche Intelligenz, Orion. Evaluierungen des Modells haben nur moderate Verbesserungen gegenüber früheren Versionen ergeben und damit Bedenken hinsichtlich des Tempos geweckt, mit dem wir bei künftigen generativen KI-Modellen rechnen können. OpenAI-Mitarbeiter, die Orion eingesetzt und getestet haben, gaben Rückmeldungen zu seinen Fortschritten an The Information und berichteten, dass die neuen Verbesserungen des Modells im Vergleich zu denen beim Übergang von GPT-3 zu GPT-4 minimal ausfielen.
OpenAI nimmt zwar seit Langem seine Position als führendes KI-Unternehmen ein, doch diese Entwicklung könnte seinen Status als führender Akteur im KI-Bereich beeinträchtigen. Darüber hinaus könnte ein langsamerer Fortschritt bei der Weiterentwicklung von KI unser derzeitiges Verständnis von der Zukunft der KI, den Grenzen generativer KI-Modelle und der Wachstumskurve generativer KI-Unternehmen.
Wachstumsschmerzen der KI
OpenAI-Forscher berichteten, dass sich Orions Sprachfähigkeiten zwar verbessert haben, das Modell jedoch in bestimmten Bereichen, darunter bei Programmieraufgaben, Engpässe aufweist. Diese Schwierigkeiten lassen sich auf OpenAIs Probleme mit der Verfügbarkeit von Trainingsdaten zurückführen. Das schwindende Angebot an diesen Daten ist ein erhebliches Problem für OpenAI, da für das Training großer Sprachmodelle (LLMs) vor ihrer Veröffentlichung hochwertige Daten erforderlich sind. Einer Schätzung zufolge werden den KI-Modellen bis 2028 die Materialien ausgehen.
Ohne diese Daten könnte sich der Fortschritt in bestimmten Bereichen der KI-Technologie verlangsamen. Zwar haben Unternehmen versucht, synthetische Daten in das Training von KI-Modellen einzuführen, doch dies könnte kein geeignetes Mittel zur Lösung des Problems sein.
Der für dieses Training von KI-Modellen erforderliche höhere Rechenaufwand wird mehr Energie benötigen und teurer sein. Obwohl führende Unternehmen weiterhin mehr Rechenzentren errichten, um ihre KI-Strategien zu unterstützen, haben sie Schwierigkeiten, kostengünstige Energiequellen zu finden. Ohne diese wäre die Entwicklung künftiger KI-Modelle möglicherweise finanziell nicht tragfähig.
Auch der Energieverbrauch von KI ist in diesem Zusammenhang ein wichtiger Aspekt, da der für den Betrieb dieser großen Rechenzentren erforderliche Stromverbrauch erhebliche Auswirkungen auf die Umwelt haben könnte.
Bislang bestand die vorherrschende Annahme im Zusammenhang mit generativer KI darin, dass mehr Daten und Rechenleistung zu leistungsfähigeren KI-Modellen führen würden. Die Engpässe bei Orion stellen dieses Konzept jedoch infrage. Sollte die Wachstumskurve bei der Weiterentwicklung von KI weiter abflachen, könnten Investoren weniger bereit sein, die KI-Initiativen dieser Unternehmen finanziell zu unterstützen. Letztlich werden die Nutzer der KI-Modelle wahrscheinlich für den Ausgleich dieser Einnahmeausfälle aufkommen, da KI-Unternehmen ihre Produkte entsprechend bepreisen werden.