Illinois hat den Einsatz von KI in der Therapie psychischer Erkrankungen verboten und ist damit der jüngste Bundesstaat, der bei Chatbots in der klinischen Versorgung eine klare Grenze zieht. Das neue Gesetz untersagt den Einsatz von KI zur Diagnose und Behandlung von Patienten sowie zur Kommunikation mit ihnen während Therapiesitzungen.
Laut The Washington Post steht Illinois damit nun auf einer Linie mit Nevada und Utah, die beide angesichts zunehmender Sicherheitsbedenken KI-Therapiewerkzeuge eingeschränkt haben. Das Gesetz verhindert, dass Chatbots als Ersatz für approbierte Therapeuten vermarktet werden.
Öffentliche Sicherheit vor einer schnellen Einführung von KI
Unter der Maßnahme, dürfen Unternehmen keine KI-gestützten Therapiedienste anbieten oder bewerben, es sei denn, eine approbierte Fachkraft ist direkt beteiligt. Das Gesetz verbietet den Einsatz von Chatbots zur Diagnose und Behandlung von Patienten sowie zur Kommunikation mit ihnen.
Verstöße werden über das Beschwerdesystem des Bundesstaats untersucht und können zivilrechtliche Geldbußen von bis zu 10.000 US-Dollar nach sich ziehen. Die Durchsetzung wird von Mario Treto Jr., dem Staatssekretär des Illinois Department of Financial and Professional Regulation, geleitet. Er sagte der Washington Post, sein Amt werde „den Wortlaut des Gesetzes“ anwenden, dabei „die öffentliche Sicherheit an erste Stelle setzen“ und „eine durchdachte Regulierung mit der Förderung von Innovationen in Einklang bringen, ohne sie abzuwürgen“.
Das Gesetz verbietet nicht jede Nutzung von künstlicher Intelligenz in der psychischen Gesundheitsversorgung. Approbierte Anbieter dürfen KI weiterhin für administrative oder nichtklinische Aufgaben einsetzen.
Wie das Gesetz durchgesetzt werden soll, ist weniger eindeutig. Beschwerden lösen Untersuchungen aus, doch das Gesetz lässt offen, wo die Grenzen der Therapie beginnen und enden.
Treto hat es abgelehnt, konkrete Szenarien zu skizzieren, sodass Unternehmen und Aufsichtsbehörden sich nun in einer Grauzone zurechtfinden müssen, während die Vorschriften in Kraft treten.
KI ist noch nicht bereit für die Therapie
Immer mehr Bundesstaaten beginnen, einzugreifen. In Kalifornien würde ein Vorschlag eine Arbeitsgruppe zu KI und psychischer Gesundheit einrichten, während Abgeordnete in New Jersey Entwickler daran hindern wollen, Chatbots als approbierte Fachkräfte zu bewerben.
Die Debatte findet vor dem Hintergrund von Studien statt, die sowohl Potenzial als auch Risiken aufzeigen. In einer Studie half der Therabot-Chatbot von Dartmouth dabei, Symptome von Depressionen und Angstzuständen zu lindern – und zwar in einem ähnlichen Maß wie bei der herkömmlichen ambulanten Versorgung. Gespräche mit einigen KI-Werkzeugen, etwa Claude, sorgen bei einigen Nutzern ebenfalls für eine positivere Stimmung.
Doch separate Untersuchungen von OpenAI und dem MIT Media Lab warnten, dass eine längere Nutzung sprachbasierter Bots, insbesondere solcher mit neutralem Tonfall, die Einsamkeit verstärken und eine ungesunde emotionale Bindung fördern könnte.
Untersuchungen des King’s College London warnen, dass KI-Chatbots wahnhafte Gedanken bestätigen oder sogar verstärken können, wobei von Nutzern berichtet wurde, die nach längeren Interaktionen psychotische Symptome entwickelten. Für Aufsichtsbehörden unterstreichen solche Risiken, warum KI trotz erster vielversprechender Ansätze noch nicht als Therapeut eingesetzt werden kann.
Verbote sind nur die halbe Antwort
Verbote auf Ebene der Bundesstaaten sind ein wichtiger Schritt, doch die Arbeit darf nicht bei der Gesetzgebung aufhören. KI-Unternehmen müssen ebenfalls ihren Teil dazu beitragen, die Sicherheit der Nutzer zu gewährleisten.
Anthropic arbeitet mit der Krisenhilfeorganisation ThroughLine daran, wie sein Claude-Chatbot auf sensible Gespräche reagiert, und leitet Nutzer bei Bedarf zu Hilfe außerhalb des Internets weiter. Das Unternehmen betont, dass das Tool kein Therapeut ist, und entwickelt Schutzvorkehrungen, damit es dabei bleibt.
OpenAI hat Schutzvorkehrungen für die psychische Gesundheit in ChatGPT integriert, darunter Erinnerungen an Pausen, überarbeitete Antworten auf emotionale Fragen und Aufforderungen, die Nutzer eher zur Reflexion als zu direkten Ratschlägen anleiten.
Auf dem Spiel steht eine Wahrheit, die nicht übersehen werden darf: Gesetze können die Grenzen ziehen, doch über die Sicherheit wird im Code entschieden.