OpenAI schließt Vereinbarungen mit Verlagen, um Spannungen um das Web-Scraping durch KI zu entschärfen

Als das hinter ChatGPT stehende Unternehmen für künstliche Intelligenz hat OpenAI einen scheinbar unstillbaren Hunger nach Daten, mit denen es sein beliebtes Modell trainiert – viele davon beschafft es durch das Scraping des Webs. Nun hat das Unternehmen begonnen, Lizenzvereinbarungen mit Medienproduzenten auszuhandeln, um deren Online-Inhalte zu erfassen und so die moralischen, ethischen und rechtlichen Fragen rund um das Web-Scraping zu umgehen.

Diese Verhandlungen finden in einer sich wandelnden Internetlandschaft statt, in der der Wert von Medieninhalten dramatisch gestiegen ist. Artikel, Bilder und Videos machen einen großen Teil des unverzichtbaren Treibstoffs für den Boom generativer KI-Technologien aus. Meinungsverschiedenheiten darüber, wie KI-Entwickler auf Medieninhalte zugreifen, sind Gegenstand eines gewaltigen Tauziehens, in dem sich schwierige rechtliche Fragen, komplexe Technologie und große Geldsummen verbinden. Interessierte Parteien auf beiden Seiten beobachten aufmerksam, ob der neue Ansatz des Unternehmens erfolgreich sein wird – und ob er sich zur Nachahmung eignen könnte.

DIE WICHTIGSTEN ERKENNTNISSE

• •OpenAI und andere Entwickler generativer KI haben ihre Modelle aufgebaut, indem sie das Web auf rechtlich ambivalente Weise aggressiv durchsuchten. (Zum Abschnitt springen)
• •Nachdem das nicht genehmigte Web-Scraping zahlreiche Klagen ausgelöst hat, geht OpenAI nun zu Lizenzverhandlungen mit Produzenten über. (Zum Abschnitt springen)
• •Die Fragen rund um das Crawling des Webs durch KI sind weiterhin ungeklärt, und der Ausgang dieser Angelegenheit hat weitreichende Folgen für die Zukunft der Medienbranche. (Zum Abschnitt springen)

Ist das Scraping des Webs durch KI legal?

OpenAI stellte ChatGPT im November 2022 unter großer öffentlicher Aufmerksamkeit vor. Als eine ganze Reihe konkurrierender Apps folgte, begannen viele Medienschaffende, eine naheliegende Frage zu stellen: Woher bezogen diese KI-Entwickler das Datenmeer, das sie zum Füttern und Trainieren ihrer Modelle benötigten? Die Antwort lautet natürlich, dass Unternehmen für generative KI aggressive – manche würden sagen rücksichtslose – Web-Scraper sind. Ihre hungrigen Bots durchstreifen das Internet Tag und Nacht und ziehen Informationen ab.

Da sie erheblich in ihre Inhalte investiert haben, empfinden Inhaltsproduzenten – darunter Autoren, Künstler, Blogger, Musiker und zahlreiche Medienunternehmen – ein tiefes Gefühl der Eigentümerschaft an diesen Inhalten. Angesichts der Fragen zum Urheberrecht ist nun ein Tornado aus Klagen anhängig, darunter einige viel beachtete Fälle:

• Getty Images gegen Stability AI: Das Fotografenkollektiv und Bildarchiv Getty Images wirft Stability AI vor, mehr als 12 Millionen Fotografien einschließlich ihrer Bildunterschriften und Metadaten verletzt zu haben.
• The New York Times gegen Microsoft: The New York Times behauptet, dass Millionen von Inhalten des Unternehmens zum Aufbau der großen Sprachmodelle von Microsofts Copilot und OpenAIs ChatGPT verwendet wurden. Microsoft ist ein bedeutender Investor in OpenAI und hat Anspruch auf einen Anteil an den Gewinnen aus dem gewinnorientierten Geschäftsbereich von OpenAI.
• Concord Music Group, Inc. gegen Anthropic PBC: Mehrere große Musikverlage behaupten, Anthropic habe Liedtexte zum Training des Claude-LLM verwendet und aus diesem Material CMI (Informationen zur Rechteverwaltung) entfernt.

Im Zuge der rechtlichen Auseinandersetzungen hat OpenAI Vereinbarungen mit etwa einem Dutzend Verlagen unterzeichnet, darunter Vox, The Atlantic, Dotdash Meredith, das zahlreiche Publikationen zu Technik, Finanzen und Gesundheit herausgibt, sowie Condé Nast, das Wired, The New Yorker und Vanity Fair veröffentlicht. Diese Vereinbarungen scheinen anzuerkennen, dass es an der Zeit ist, den Prozess des KI-Webcrawlings zu ändern.

Schließlich bietet der Aufbau von Apps für generative KI ein enormes Umsatzpotenzial: OpenAI wird inzwischen mit 157 Milliarden US-Dollar bewertet. Bei so viel Geld, das auf dem Spiel steht, überrascht es nicht, dass das Unternehmen unterzeichnete Verträge als bessere Strategie für langfristiges Wachstum betrachtet.

Wie funktioniert die Technologie zum Scraping des Webs durch KI?

Verlage setzen zunehmend Blockiertechnologien ein, um KI-Web-Scraper daran zu hindern, ohne Erlaubnis auf ihre Inhalte zuzugreifen. Das von Websites für diese Sperrmaßnahme bevorzugte Werkzeug ist das Robots Exclusion Protocol oder robots.txt. Damit lässt sich jeder KI-Webcrawler anhand seines Namens ausschließen – darunter auch OpenAIs GPTBot.

Reuters Institute for the Study of Journalism berichtete, dass Ende 2023 48 Prozent der besonders bekannten Websites GPTBot blockierten, während 24 Prozent den KI-Webcrawler von Google sperrten. Nachrichtenseiten blockierten GPTBot deutlich häufiger als andere beliebte Websites: In den USA waren es 79 Prozent, gegenüber nur 20 Prozent in ausländischen Märkten. Traditionelle Nachrichtenpublikationen aus dem Printbereich blockierten GPTBot häufiger als Nachrichtenangebote, die von Anfang an im Web entstanden waren.

Daten des kanadischen KI-Erkennungsunternehmens Originality AI legen nahe, dass OpenAIs Erfolg beim Abschluss von Vereinbarungen das Ausmaß der Blockierungen verringert. 2024 ist der Anteil der führenden nationalen Nachrichtenseiten, die GPTBot blockieren, von einem Höchststand von nahezu 90 Prozent auf knapp über 50 Prozent gesunken.

Scharen von KI-Bots crawlen weiterhin das Web, und KI-Entwickler, die Daten benötigen, ernten unermüdlich Medieninhalte – mit oder ohne Erlaubnis. Einige Websitebetreiber sagen, dass so viele KI-Bots ihre Websites crawlen, dass dies die gleiche Wirkung wie ein DDoS-Angriff habe. Dieser ständige Zustrom zusätzlichen nicht menschlichen Datenverkehrs erhöht die Hostingkosten einer Website und kann sogar die Ladezeiten verlangsamen.

Wie verändert sich das Geschäft mit dem Scraping des Webs durch KI?

Als Zeichen für das Umsatzpotenzial des neuen Marktes für Inhalte kündigte das Unternehmen für Webnetzwerke und Sicherheit Cloudflare kürzlich Pläne an, einen Marktplatz zu starten , auf dem Online-Inhaltsproduzenten den Zugang von KI-Webcrawlern verkaufen können. Zur Unterstützung dieses Marktes stellte das Unternehmen ein kostenloses Tool namens AI Audit vor, mit dem Websites kontrollieren können, wie ihre Seiten von Entwicklern von KI-Modellen genutzt werden.

Das Tool wird eine Funktion enthalten, mit der Inhaltsproduzenten ihren eigenen Preis für KI-Anbieter festlegen können. Außerdem bietet es ein Metrik-Dashboard, das Websitebetreibern zeigt, wie oft bestimmte Seiten gecrawlt werden – eine mögliche Unterstützung bei ihren Verhandlungen.

Während Cloudflare mit seinen Marktplatzplänen vorangegangen ist, wird es wahrscheinlich weitere Bemühungen geben, die Lizenzierung von Inhalten für KI-Webcrawler zu standardisieren. Kleine Nischenwebsites mit umfangreichen Inhaltsbeständen werden dies besonders nützlich finden, da sie keine eigenen Finanzfachleute beschäftigen, die Lizenzbedingungen aushandeln könnten.

Verhandeln Inhaltsproduzenten über ihren eigenen Untergang?

Dass Lizenzverhandlungen gleichzeitig mit anhängigen Klagen stattfinden, deutet darauf hin, dass der Prozess aus mehreren beweglichen Teilen besteht und keineswegs frei von Verwirrung ist. Für KI-Anbieter liegt der Vorteil auf der Hand – der Zugang zu einer ergiebigen Quelle von Inhalten. Inhaltsproduzenten haben jedoch nicht öffentlich dargelegt, welchen Nutzen sie aus der Lizenzierung von Inhalten an KI-Anbieter ziehen.

In einer unternehmensweiten E-Mail verwies der CEO von Condé Nast, Roger Lynch, bei der Erörterung der Vereinbarung auf die „anhaltenden Turbulenzen in der Verlagsbranche“ und erklärte, dass Änderungen an der Google-Suche neue Herausforderungen für die Umsätze der Verlage geschaffen hätten.

„Unsere Partnerschaft mit OpenAI beginnt, einen Teil dieser Umsatzeinbußen auszugleichen, sodass wir unseren Journalismus und unsere kreativen Projekte weiterhin schützen und in sie investieren können“, schrieb Lynch.

Vermutlich bedeutet dies, dass es eine Form der Gewinnbeteiligung aus den Lizenzvereinbarungen geben wird. Diese Vereinbarungen schaffen jedoch einen direkten Zustrom der aktuellsten und hochwertigsten Inhalte renommierter Medienorganisationen in Modelle für generative KI. Das Ergebnis ist, dass diese KI-Tools bei ihren Ausgaben entsprechend ausgefeilter, aktueller und sogar stilvoller werden.

Derzeit verschiebt sich das Machtgleichgewicht zugunsten der Inhaltsproduzenten, wobei Klagen KI-Anbieter möglicherweise dazu zwingen, enorme Summen zu zahlen. Künftige Generationen von KI-Bots werden jedoch eine erstaunliche Funktionsvielfalt erreichen, da sich LLMs auf einer exponentiellen Wachstumskurve weiterentwickeln, die in immer kürzeren Zeitabständen große Sprünge macht – angetrieben von den neuesten Prozessorchips. Das bedeutet ironischerweise, dass Plattformen für generative KI dank der von ihnen lizenzierten Inhalte aggressiver mit den Inhaltsproduzenten konkurrieren werden, die ihnen dieses Material derzeit zur Verfügung stellen.

Fazit: Die Lizenzierung von KI-Inhalten hat weitreichende Folgen

Die zahlreichen Fragen rund um das Scraping des Webs durch KI befinden sich in einer Phase schnellen Wandels: Rechtliche, lizenzrechtliche und technische Aspekte entwickeln sich gleichzeitig weiter, wobei jeder einzelne eine wichtige Rolle bei der Gestaltung der Beziehung zwischen Medien und KI spielt. Die entscheidende Triebkraft in dieser Angelegenheit ist die Knappheit hochwertiger Daten. Brancheninsider sagen gerne, dass Entwickler generativer KI „keine Daten mehr zum Crawlen haben“. Das bedeutet, dass sämtliche öffentlich und kostenlos verfügbaren Inhalte bereits gecrawlt wurden – und höchstwahrscheinlich auch einige urheberrechtlich geschützte Inhalte. Diese Datenknappheit erhöht den Einsatz für Entwickler generativer KI, eine Gruppe, die über die finanziellen Mittel verfügt, Daten von Inhaltsproduzenten auf allen Ebenen zu lizenzieren. Das endgültige Ergebnis dieser Inhaltslizenzierung bleibt zwar ungewiss, doch klar ist, dass der Ausgang dieses Lizenzierungsprozesses enorme Auswirkungen auf die Zukunft der Medien und den Informationsfluss in all seinen Formen in den kommenden Jahren haben wird.

Lesen Sie unseren Leitfaden zu KI-Governance und -Politik , um zu erfahren, was Sie über den verantwortungsvollen Einsatz künstlicher Intelligenz wissen müssen.