Microsoft-CEO Satya Nadella hat sich in den wachsenden Streit über Modelldestillation eingeschaltet. Er argumentiert, dass führende KI-Labore nicht einerseits weitreichende Rechte zum Training mit öffentlichen Informationen befürworten und andererseits strenge Beschränkungen verhängen können, sobald Wettbewerber ihre Modellausgaben als Trainingsmaterial verwenden.
Was passiert ist
- Nadella kritisierte den einseitigen Wissensfluss zwischen Urhebern, Kunden und KI-Unternehmen.
- Mit Destillation können Entwickler ein neues Modell mithilfe von Antworten trainieren, die von einem leistungsfähigeren Modell erzeugt wurden, und dabei häufig wertvolle Fähigkeiten zu einem Bruchteil der Kosten reproduzieren.
- OpenAI und Anthropic warnten Washington, dass chinesische Unternehmen Destillation nutzen, um fortschrittliche US-Modelle zu klonen. Ihren Angaben zufolge haben ausländische Wettbewerber die Technik in enormem Umfang eingesetzt und damit möglicherweise amerikanische Forschung im Wert von Milliarden US-Dollar in eine Abkürzung für konkurrierende Labore verwandelt.
- Eine separate Untersuchung von Business Insider kam zu dem Ergebnis, dass Destillation die Gewinne, die das Geschäft mit führenden Modellen insgesamt tragen, gefährden könnte.
Die Vorwürfe des Diebstahls verdienen es, ernst genommen zu werden. Anthropic zufolge nutzte Alibaba etwa 25.000 betrügerische Konten, um fast 29 Millionen Claude-Interaktionen zu sammeln. Das wirkt weniger wie ein neugieriger Forscher, der eine Idee testet, als wie jemand, der einen Datenlaster an die Laderampe zurücksetzt.
Doch wie wir in unserem eigenen Bericht heute Morgen argumentiert haben, schließen der Stopp illegaler Datenextraktion und die Unterstützung einer offenen KI-Entwicklung einander nicht aus.
Warum das wichtig ist
Führende KI-Labore haben enorme Summen für die Anstellung von Forschern, den Kauf von Rechenleistung und die Erstellung der Datensätze ausgegeben, die hinter ihren besten Modellen stehen. Wenn ein anderes Unternehmen diese Fähigkeiten für einen Bruchteil der Kosten reproduzieren kann, wird es deutlich schwieriger, die wirtschaftliche Grundlage dafür zu verteidigen, Milliarden in das nächste Modell zu investieren.
Das Problem ist, dass eben diese Labore ihre Systeme mithilfe von Büchern, Artikeln, Code, Bildern und anderen öffentlichen Materialien entwickelt haben, für die sie häufig keine individuellen Lizenzen erworben hatten. Ihr Argument läuft im Grunde darauf hinaus: Aus der Arbeit anderer zu lernen, treibt Innovation voran, während aus unserer Arbeit zu lernen Innovation bedroht. Das ist gleichzeitig heuchlerisch und wahr.
Unsere Einschätzung
Nadella hat den Grundsatz benannt, den die Branche noch klären muss: Wer darf von wem lernen, unter welchen Bedingungen und mit welcher Vergütung?
Betrügerische Konten und Datenextraktion im industriellen Maßstab können durchaus eine Grenze überschreiten. Weitreichende Beschränkungen für Destillation könnten außerdem sinnvolle KI-Forschung auf die wenigen Unternehmen beschränken, die wohlhabend genug sind, führende Modelle zu entwickeln.
Die Labore könnten einen stärkeren Schutz erwirken. Es wird ihnen jedoch deutlich schwerer fallen, alle davon zu überzeugen, dass Intelligenz ungehindert zu ihnen fließen und dann an ihren Toren Halt machen sollte.
Anmerkung der Redaktion: Dieser Artikel erschien ursprünglich in unserer Schwesterpublikation, The Neuron.