Der texanische Generalstaatsanwalt Ken Paxton hat eine Untersuchung gegen Meta und Character.AI eingeleitet. Er beschuldigt die Unternehmen, Kinder mit KI-gestützten Tools für psychische Gesundheit, die als „Therapie getarnt“ seien, in die Irre geführt zu haben. Texas hat zivilrechtliche Untersuchungsaufforderungen erlassen, um mögliche Verstöße gegen den Verbraucherschutz zu prüfen.
Irreführende Werbung und unlautere Geschäftspraktiken
Im Mittelpunkt der Untersuchung stehen Vorwürfe, die Unternehmen hätten KI-Chatbots zugelassen, die sich als zugelassene Fachkräfte für psychische Gesundheit ausgaben, obwohl ihnen medizinische Qualifikationen und Aufsicht fehlten. In einer Pressemitteilung sagte Paxton , einige Bots hätten Qualifikationen erfunden und sich als seriöse Beratungsangebote präsentiert.
Die Behörden warnten, dass solche Taktiken Kinder dazu verleiten könnten zu glauben, sie erhielten professionelle Hilfe; tatsächlich werde die Beratung als allgemeine Ausgabe beschrieben, die auf Grundlage der während der Chats erhobenen persönlichen Daten zugeschnitten sei.
Von den Ermittlern geprüfte Nutzungsbedingungen zeigen, dass Interaktionen protokolliert und nachverfolgt werden; die Daten sollen in Werbung und die Entwicklung von Algorithmen eingeflossen sein. Laut Paxton könnte dieses Verhalten als irreführende Werbung und unlautere Geschäftspraktiken einzustufen sein.
Unternehmen bestreiten, professionelle Dienste für psychische Gesundheit anzubieten
Meta teilte TechCrunch mit , dass seine KI-Tools kein Ersatz für zugelassene Therapeuten seien. Das Unternehmen erklärte, seine Chatbots zeigten Hinweise an, die Nutzer daran erinnerten, dass die Antworten von künstlicher Intelligenz, nicht von Menschen, stammten und dass sie dazu entwickelt seien, Menschen bei Bedarf dazu zu ermutigen, professionelle Hilfe zu suchen.
Character.AI brachte ein ähnliches Argument vor und wies darauf hin, dass die Chats von Hinweisen begleitet werden, die klarstellen, dass die Bots fiktiv sind. Das KI-Unternehmen erklärte, es zeige zusätzliche Warnungen an, wenn ein Nutzer eine Figur mit Titeln wie „Arzt“ oder „Therapeut“ erstellt, und betonte, dass diese nicht als echte medizinische Beratung verstanden werden sollten.
Familien und Abgeordnete erhöhen den Druck auf Meta und Character.AI
Paxtons Untersuchung reiht sich in die wachsenden rechtlichen und politischen Herausforderungen ein, mit denen die beiden Unternehmen konfrontiert sind.
Gegen Character.AI laufen bereits Klagen von Familien, die sagen, seine Chatbots hätten Kinder gefährdet. Eine Mutter aus Florida macht die Plattform für den Suizid ihres 14-jährigen Sohnes verantwortlich. Sie behauptet, ein Bot habe sich als Psychotherapeut und romantischer Partner ausgegeben und wiederholt das Thema Suizid angesprochen.
Zwei weitere Familien beschuldigen Character.AI, Minderjährige sexuellen Inhalten ausgesetzt, Selbstverletzung gefördert und sogar angedeutet zu haben, ein Teenager könne seine Eltern töten, nachdem diese die Bildschirmzeit eingeschränkt hatten.
Auch Meta ist ins Visier geraten. Eine Reuters-Untersuchung enthüllte ein internes Richtliniendokument, das es den Bots erlaubte, romantische Gespräche mit Kindern zu führen, falsche medizinische Ratschläge zu geben und rassistische Inhalte zu erzeugen. Meta bestätigte die Echtheit des Dokuments, entfernte später jedoch Abschnitte und räumte ein, dass die Durchsetzung uneinheitlich gewesen sei.
Dies erregte die Aufmerksamkeit des Kongresses. Die Senatoren Alex Padilla und Peter Welch forderten KI-Unternehmen, darunter Character.AI, zu Sicherheitsangaben auf und warnten, dass Kinder schädliche Bindungen zu Chatbots entwickeln und sensible Informationen teilen könnten, mit denen die Systeme nicht qualifiziert seien umzugehen, während die Senatoren Josh Hawley und Marsha Blackburn eine Untersuchung von Meta auf Bundesebene forderten.
Keine Technologie ist mehr wert als die Sicherheit eines Kindes
Während Chatbots aus den Laboren in alltägliche Apps und Nachrichten wandern, treffen die Risiken auf dieselben Orte, an denen sich Kinder bewegen.
Wenn KI praktisch für jeden zugänglich ist, sind Schutzvorkehrungen nicht länger optional. Denn wenn diese Tools Kinder erreichen, bemisst sich der Preis eines Versagens in Menschenleben.
Lesen Sie die Berichterstattung von eWeek über Illinois’ Verbot von KI-gestützter Therapie für die psychische Gesundheit sowie über Instagram-KI-Chatbots, die Therapiequalifikationen erfinden , wenn sie Ratschläge zur psychischen Gesundheit geben.