Kürzlich haben Führungskräfte von Microsoft der Internet Engineering Task Force einen neuen Vorschlag zum Schutz von Webdaten vorgelegt. Dieser sieht zusätzliche Regeln vor, mit denen sich KI-Trainings-Bots von anderen Bots unterscheiden lassen und Website-Betreiber unerwünschte KI-Webcrawler blockieren können. Da KI-Modelle riesige Mengen an Trainingsdaten benötigen, sammeln KI-Unternehmen diese Daten in der Regel von öffentlichen Websites, indem sie KI-Crawler durch Blogbeiträge, Produktseiten, Videos und andere Formen von Webinhalten schicken.
Während Technologieunternehmen argumentieren, dass KI-Bots öffentlich verfügbare Daten ebenso wie Suchmaschinen crawlen können sollten, sehen manche Website-Betreiber darin einen Eingriff in die Privatsphäre, da sie dieser Datenextraktion nie zugestimmt haben. Der neue Vorschlag bietet drei Methoden, um KI-Crawler davon abzuhalten, in Ihre Website einzudringen: neue robots.txt-Regeln, Regeln für Antwort-Header auf Anwendungsebene und ein Robots-HTML-Meta-Tag.
Neue Robots.txt-Regeln
Microsofts Vorschlag würde zusätzliche Regeln für die Datei robots.txt schaffen, mit der Websites Webcrawler und Suchmaschinen-Bots darüber informieren, welche Bereiche der Website sie crawlen dürfen und welche nicht.
„Während das Robots Exclusion Protocol Dienstbetreibern ermöglicht zu steuern, wie – oder ob überhaupt – automatisierte Clients, die als Crawler bezeichnet werden, auf die URIs ihrer Dienste zugreifen dürfen, wie in [RFC8288] definiert“, heißt es im Entwurfsvorschlag, „bietet das Protokoll keine Möglichkeit zu kontrollieren, wie die von ihrem Dienst zurückgegebenen Daten beim Training generativer KI-Grundlagenmodelle verwendet werden dürfen. Anwendungsentwickler werden gebeten, diese Tags zu beachten.“
Der Vorschlag empfiehlt die folgenden Werte zur Steuerung der Interaktion von KI-Bots mit Websites:
- DisallowAITraining: Weist den Parser an, die Daten nicht für das KI-Training zu verwenden
- AllowAITraining: Weist den Parser an, dass die Daten für das KI-Training
verwendet werden können
Antwort-Header auf Anwendungsebene
Der Vorschlag besagt außerdem, dass Website-Betreiber dieselben robots.txt-Regeln über den Antwort-Header auf Anwendungsebene festlegen können sollten – eine Art HTTP-Anfragemethode, die nur die Header einer Webressource abruft, ohne den eigentlichen Inhalt herunterzuladen. Wie bei robots.txt wird bei den Regeln nicht zwischen Groß- und Kleinschreibung unterschieden.
Robots-HTML-Meta-Tag
Die dritte vom Vorschlag angebotene Möglichkeit, KI-Crawler von einer Website fernzuhalten, ist die Verwendung der folgenden HTML-Meta-Tags:
- <meta name=”robots” content=”DisallowAITraining”>
- <meta name=”examplebot” content=”AllowAITraining”>
Wenn die Empfehlungen des Vorschlags umgesetzt werden, haben Website-Betreiber mehr Kontrolle darüber, welche Bots ihre Webseiten crawlen dürfen. Wenn genügend Website-Betreiber diese neuen Regeln nutzen und KI-Bots einschränken, könnte sich die Entwicklung generativer KI verlangsamen.
Erfahren Sie mehr über die Datenschutzherausforderungen und -probleme, mit denen KI konfrontiert ist sowie über bewährte Verfahren und Lösungen zu ihrer Bewältigung.