Meta sah sich kürzlich mit dem Vorwurf konfrontiert, seine KI-Modelle mit raubkopierten Inhalten zu trainieren; nun steckt OpenAI in einer ähnlichen Kontroverse. Eine neue Studie behauptet, dass eines der neuesten großen Sprachmodelle (LLMs) von OpenAI mit nicht öffentlichen, urheberrechtlich geschützten Inhalten von O’Reilly Media trainiert wurde. Konkret legen die Autoren der Studie nahe, dass die Entwicklungsteams von OpenAI eines ihrer fortschrittlichsten Modelle ohne Genehmigung mit geschützten Inhalten trainiert haben könnten.
Die Autoren der Studie schreiben unter anderem: „Obwohl sich die hier vorgelegten Belege für Verstöße beim Modellzugriff auf Bücher von OpenAI und O’Reilly Media beschränken, handelt es sich wahrscheinlich um ein systematisches Problem.“
Die Vorwürfe im Detail
Die Studie wurde von einem Team von O’Reilly Media verfasst, zu dem auch CEO Tim O’Reilly gehört. Darin wird ausdrücklich behauptet, dass OpenAI, eines der heutigen führenden KI-Unternehmen, eines seiner neuesten KI-Modelle mit Inhalten trainiert, die über die offiziellen Kanäle von O’Reilly Media hinter einer Bezahlschranke liegen.
Die Autoren der Studie mit dem Titel „Beyond Public Access in LLM Pre-Training Data“ begannen mit 34 urheberrechtlich geschützten Büchern von O’Reilly Media, darunter sowohl öffentlich zugängliche als auch kostenpflichtige Inhalte. Anschließend wendeten sie die Methode DE-COP zum Membership-Inference-Angriff an. Dabei lässt sich feststellen, ob ein KI-Modell einen bestimmten Text bereits auswendig gelernt hat. So untersuchten sie verschiedene Arten von KI-Modellen von OpenAI.
Das Team wies außerdem jedem LLM einen Area-Under-the-Receiver-Operating-Characteristic-(AUROC)-Wert zu. Dieser Wert misst die Wahrscheinlichkeit, dass diese KI-Modelle mit einem oder mehreren der 34 urheberrechtlich geschützten Bücher von O’Reilly Media trainiert wurden.
- GPT-4o: Erkennt nicht öffentliche Inhalte von O’Reilly Media deutlich besser (AUROC-Wert: 82 %) als öffentliche Inhalte (AUROC-Wert: 64 %).
- GPT-3.5 Turbo: Erkennt öffentliche Inhalte von O’Reilly Media geringfügig besser (AUROC-Wert: 64 %) als nicht öffentliche Inhalte (AUROC-Wert: 54 %).
- GPT-4o Mini: Keine Hinweise darauf, dass das Modell mit öffentlichen oder nicht öffentlichen Inhalten von O’Reilly Media trainiert wurde.
Das Kleingedruckte
Obwohl die Studie GPT-4o Mini zunächst von jeglicher Rechtsverletzung freispricht, weisen die Autoren darauf hin, dass dies auf den geringeren Umfang des KI-Modells und seine im Vergleich zu GPT-4o und anderen generativen KI-Tools geringere Fähigkeit, sich an Texte zu erinnern, zurückzuführen sein könnte. In ihrer Studie äußern sie außerdem eine gewisse Unsicherheit hinsichtlich der AUROC-Werte und weisen darauf hin, dass diese als Schätzwerte zu verstehen sind.
Die Studie kommt zu dem Schluss, dass die derzeitigen Methoden zum Training von KI schon bald in eine „extraktive Sackgasse“ führen könnten. Indem sie Urheberrechtsinhaber und Content-Ersteller nicht angemessen vergüten, werden KI-Entwickler letztlich eine geringere Qualität, Genauigkeit und Vielfalt der Inhalte feststellen.