Die Federal Trade Commission hat eine umfassende Untersuchung zu KI-Chatbots eingeleitet und fordert von sieben Technologiekonzernen — OpenAI, Meta, Alphabet, Snap, Instagram, X.AI und Character Technologies — Auskunft über mögliche Risiken für Kinder und Jugendliche.
Die Behörde verschickte Anordnungen und verlangte Einzelheiten dazu, wie die Unternehmen Chatbots testen, überwachen und schützen, die menschliche Emotionen nachahmen und als Begleiter fungieren. Die Regulierer konzentrieren sich darauf, ob die Plattformen Kinder Gefahren aussetzen, wie sie Interaktionen mit Nutzern zu Geld machen und welche Schritte sie unternehmen, um den Zugang für junge Menschen zu begrenzen.
- Die Nutzung personenbezogener Daten durch KI-Chatbots weckt Datenschutzbedenken
- Der Druck auf eine härtere Gangart gegen KI-Begleiter wächst
- Tragödien offenbaren die tödliche Seite von KI-Begleitern
- Oberste Staatsanwälte nehmen KI-Unternehmen wegen Versäumnissen beim Kinderschutz ins Visier
- KI-Unternehmen führen neue Schutzfunktionen für Kinder ein
- Die nächsten Schritte bei der Prüfung der Chatbot-Sicherheit
Die Nutzung personenbezogener Daten durch KI-Chatbots weckt Datenschutzbedenken
Als Teil der FTC-Untersuchung sucht die Behörde Einzelheiten dazu, wie Unternehmen Chatbot-Charaktere entwickeln und genehmigen, welche Hinweise oder Werbung sie einsetzen, um Eltern und junge Nutzer zu warnen, und wie strikt sie Altersbeschränkungen und Community-Regeln durchsetzen. Die Regulierer wollen außerdem wissen, ob Unternehmen personenbezogene Daten aus Gesprächen mit Kindern sammeln oder weitergeben.
Die Kommission betonte, dass es sich bei der Prüfung um eine Untersuchung im Rahmen ihrer Befugnis handelt, von der Branche Informationen zu verlangen, und nicht um ein Durchsetzungsverfahren. Der Vorsitzende Andrew N. Ferguson erklärte, dass die Trump-Vance-FTC die Sicherheit von Kindern als oberste Priorität betrachte und zugleich Innovation in einem schnell wachsenden Sektor fördern wolle.
Der Druck auf eine härtere Gangart gegen KI-Begleiter wächst
Familien, Interessenverbände und Verbraucherschützer fordern zunehmend Maßnahmen angesichts dessen, dass Chatbots immer stärker in den Alltag von Kindern eingebettet sind. In Klagen wird behauptet, dass einige Minderjährige schädliche Bindungen zu KI-Begleitern entwickelten. Eltern erklären, die Interaktionen hätten psychische Probleme verschärft und in einigen Fällen zu Suizid und Selbstverletzung beigetragen.
Aktuelle Untersuchungen von Verbraucherschützern haben beunruhigende Gespräche zwischen Bots und als Kinder registrierten Konten offengelegt. Das unterstreicht die Befürchtung, dass die Technologie unsicheres Verhalten normalisieren kann. Interessenverbände drängen Washington zum Eingreifen, bevor generative KI-Systeme noch stärker in der Jugendkultur verankert sind.
Tragödien offenbaren die tödliche Seite von KI-Begleitern
Eine Reihe von Klagen und Untersuchungen hat KI-Chatbots mit verheerenden Folgen in Verbindung gebracht.
Die Eltern des 16-jährigen Adam Raine in Kalifornien behaupten in einer Klage wegen widerrechtlicher Tötung, ChatGPT habe seine Depression verschlimmert und ihm Anleitungen zu Suizidmethoden gegeben. In zwei weiteren Klagen wird Character.AI vorgeworfen, den Suizid eines 14-jährigen Jungen befeuert und einen 17-Jährigen dazu ermutigt zu haben, seine Eltern anzugreifen.
Im kalifornischen Greenwich hat Stein-Erik Soelberg seine Mutter getötet und anschließend sich selbst das Leben genommen, nachdem er sich monatelang ChatGPT anvertraut hatte, das laut Ermittlern seine paranoiden Wahnvorstellungen verstärkte. Psychiater warnen, dass hochrealistische Chatbots schädliche Überzeugungen bei gefährdeten Nutzern verfestigen können — mit Folgen, die weit über den Bildschirm hinausreichen.
Oberste Staatsanwälte nehmen KI-Unternehmen wegen Versäumnissen beim Kinderschutz ins Visier
Die FTC-Untersuchung erfolgt zu einem Zeitpunkt, an dem der Druck vonseiten der Staatsanwälte der Bundesstaaten wächst.
In einem offenen Brief warnten 44 Generalstaatsanwälte der Bundesstaaten große KI-Unternehmen, darunter Meta, OpenAI und Anthropic, dass sie ihre Befugnisse „in jeder Hinsicht“ nutzen würden, um Kinder zu schützen. In dem Brief wird von Berichten über Chatbots verwiesen, die sexuelle oder romantische Gespräche mit Minderjährigen führen und sich als Therapeuten ausgeben.
Die Staatsanwälte verurteilten die ihrer Auffassung nach „offenkundige Missachtung des emotionalen Wohlergehens von Kindern“ und versprachen, Unternehmen zur Verantwortung zu ziehen, die Kinder gefährden. „Wenn ihr Kindern wissentlich schadet, werdet ihr dafür zur Verantwortung gezogen“, schrieben sie und verstärkten damit die wachsende Prüfung, in deren Mittelpunkt nun KI-Begleiter stehen.
KI-Unternehmen führen neue Schutzfunktionen für Kinder ein
Einige der Unternehmen arbeiten an der Einführung von Schutzmaßnahmen. Meta hat beispielsweise seine KI-Tools daran gehindert, mit Jugendlichen über sensible Themen wie Selbstverletzung oder unangemessene Beziehungen zu sprechen, während OpenAI eine Kindersicherung für sein KI-Tool vorbereitet. Character.AI hat zugesagt, die Zusammenarbeit mit Sicherheitsexperten auszuweiten, um seine Systeme zu stärken.
Kritiker warnen, dass diese Schritte nicht ausreichen, und verweisen auf Belege dafür, dass schädliche Interaktionen trotz vorhandener Schutzmaßnahmen fortbestehen. Die FTC-Untersuchung wird zeigen, ob diese Korrekturen ausreichen, um junge Nutzer zu schützen.
Die nächsten Schritte bei der Prüfung der Chatbot-Sicherheit
Bei der Prüfung der FTC handelt es sich um eine Untersuchung zur Sachverhaltsaufklärung, nicht um ein Durchsetzungsverfahren. Die Behörde könnte jedoch einen öffentlichen Bericht veröffentlichen oder strengere Maßnahmen ergreifen, sobald sie die Antworten der Unternehmen ausgewertet hat. Untersuchungen auf Ebene der Bundesstaaten, darunter Ermittlungen der Generalstaatsanwälte, laufen parallel.
Die bevorstehende Entscheidung wird zeigen, ob die Regulierer schnell genug handeln können, um Kinder zu schützen, denn jede Verzögerung könnte bedeuten, dass Familien den Preis dafür zahlen müssen.
Neben ihrer Funktion als Therapeuten wurden Chatbots dafür kritisiert, sich als Prominente auszugeben, darunter Taylor Swift und Scarlett Johansson.