Reddit hat damit begonnen, The Internet Archive (IA) daran zu hindern, den Großteil seiner Plattform zu archivieren. Nach Angaben des Unternehmens wurde dieser Schritt durch die Sorge ausgelöst, dass KI-Entwickler von Reddit stammende Daten aus archivierten Seiten abziehen – etwas, das das IA bislang nicht verhindern konnte.
Was ist das Internet Archive?
The Internet Archive gibt es schon länger als Google, Facebook und LinkedIn. Es wurde 1996 gegründet und sollte der Öffentlichkeit offenen Zugang zu der wachsenden Informationssammlung im Internet ermöglichen.
Eine seiner bekanntesten Funktionen, die Wayback Machine, wurde 2001 gestartet. Während das IA eine große Bandbreite an Online-Material bewahrt, ermöglicht die Wayback Machine es Nutzern insbesondere, Websites so zu sehen, wie sie an bestimmten Tagen aussahen – selbst wenn die Originale gelöscht oder verändert wurden.
Heute gibt das IA an, mehr als 835 Milliarden Webseiten sowie Bücher, Bilder, Videos, Apps und Audiodateien archiviert zu haben.
Den Streit verstehen
Das IA archivierte regelmäßig Reddit-Inhalte, darunter Originalbeiträge und Kommentarverläufe bis hin zu Nutzerprofilen. Selbst wenn ein Beitrag vom ursprünglichen Autor gelöscht wurde, blieb häufig ein Schnappschuss in der Wayback Machine verfügbar. Gelöschte Nutzerprofile waren im Archiv sogar weiterhin abrufbar. Während diese Informationen von jedem technisch versierten Reddit-Nutzer leicht gefunden werden konnten, entstand das eigentliche Problem, als automatisierte Bots begannen, das IA zu nutzen, um Daten zu extrahieren für den Einsatz in ihren KI-Modellen.
Das Problem verschärfte sich, als automatisierte Programme begannen, diese Archive zu nutzen, um große Datenmengen für das Training von KI zu sammeln. Da die Plattform automatisiertes Scraping ohne Genehmigung verbietet, argumentiert Reddit, es habe kaum eine andere Wahl gehabt, als den Zugriff des IA einzuschränken, weil das Archiv diese Aktivitäten nicht zuverlässig blockieren konnte.
Tim Rathschmidt, ein Sprecher von Reddit, wurde kürzlich mit den Worten zitiert: „Bis sie in der Lage sind, ihre Website zu schützen und die Richtlinien der Plattform einzuhalten (z. B. die Privatsphäre der Nutzer zu respektieren, was das Löschen entfernter Inhalte betrifft), schränken wir ihren Zugriff auf Reddit-Daten teilweise ein, um Reddit-Nutzer zu schützen.“
Die Einschränkung unterbindet den Zugriff auf das IA nicht vollständig; die Wayback Machine kann die Reddit-Startseite weiterhin erfassen, nicht jedoch vollständige Beiträge, Kommentare oder Subreddit-Seiten.
Werden andere Websites diesem Beispiel folgen?
Die Änderung erfolgt etwas mehr als ein Jahr, nachdem Reddit erklärt hatte, es werde „gutgläubige Akteure“ wie das IA nicht daran hindern, auf seine Inhalte zuzugreifen.
Reddit betont, dass die Sperre darauf zurückzuführen sei, dass KI-Bots das IA und die Wayback Machine zum Scraping von Daten nutzen. Einige Kritiker sehen darin jedoch – unter Verweis auf Reddits jüngsten Plan, kostenpflichtige Subreddits einzuführen – eine Möglichkeit für die Social-Media-Plattform, künftig einen reibungslosen Übergang zur Monetarisierung von Inhalten sicherzustellen. Andere sehen darin eine Folge von Reddits jüngstem Lizenzabkommen mit Google und OpenAI.
Was auch immer Reddits wahrer Grund sein mag: Es wird interessant zu beobachten sein, ob andere Social-Media-Plattformen diesem Beispiel folgen.
Lesen Sie unsere Berichterstattung über Reddits Klage gegen Anthropic und darüber, warum sie einen Präzedenzfall dafür schaffen könnte, wie KI-Unternehmen ihre Daten beziehen.