Warnung: Dieser Artikel behandelt eine tödliche Überdosis und Substanzkonsum.
Die Eltern eines 19-jährigen Studenten sagen, dass er sich mit Fragen an ChatGPT wandte, die er anderswo nicht zu stellen wagte.
Nun verklagen sie OpenAI und CEO Sam Altman. Sie werfen dem Unternehmen vor, dass der Chatbot vor der tödlichen Überdosis des Teenagers zu einer vertrauenswürdigen Quelle gefährlicher Ratschläge geworden sei. In der Klageschrift heißt es, ChatGPT habe nicht lediglich einzelne Fragen beantwortet, sondern auf früheren Gesprächen aufgebaut – auf eine Weise, durch die seine Ratschläge laut der Familie persönlich, maßgeblich und sicher wirkten.
Die Klage stellt eine zutiefst menschliche Frage vor Gericht. Wenn ein KI-Tool zum Ort wird, an den sich jemand in einem riskanten Moment wendet: Welche Pflicht hat sein Anbieter, einzugreifen?
Aus einer privaten Gewohnheit wurde ein privates Risiko
Die Nutzung von ChatGPT durch den Teenager begann ganz alltäglich.
An der UC Merced, wo er Psychologie studierte, nutzte er den Chatbot laut der Klageschrift für Schulaufgaben und alltägliche Fragen. Seine Eltern wussten, dass das KI-Tool Teil seines Onlinelebens war, und hatten kaum Anlass, es als Bedrohung zu sehen.
Laut SFGATE bewegten sich die Fragen später in privatere Bereiche, darunter Substanzen, mögliche Kombinationen und die Frage, ob es ihm gut gehen würde. Seine Eltern sagen, ihr Kind habe bei einem Tool, dem es inzwischen vertraute, nach Beruhigung gesucht – nicht nach einem Weg zu sterben.
An seinem letzten Tag soll ChatGPT Xanax vorgeschlagen haben, nachdem der Teenager über Übelkeit durch Kratom berichtet hatte, statt ihn an medizinische Hilfe zu verweisen. Später starb er an einer gemeldeten Kombination aus Kratom, Xanax und Alkohol, die laut Klageschrift wahrscheinlich eine Depression des zentralen Nervensystems und Erstickung verursachte.
„Wir haben unseren Sohn aufgrund des rücksichtslosen Produktdesigns von OpenAI verloren“, sagte seine Mutter Leila Turner-Scott, gegenüber SFGATE.
Die Familie sagt, die Gefahr sei eingebaut gewesen
Seine Eltern sagen, ChatGPT-4o sei durch die Art und Weise riskant geworden, wie es lange, private Gespräche führte. Es merkte sich sensible Details, setzte die Unterhaltung fort und antwortete mit einer Sicherheit, die beruhigend wirken konnte – selbst wenn der Teenager nach gefährlichen Substanzen fragte.
Frühere Versionen von ChatGPT verweigerten Fragen zum Drogenkonsum mitunter. GPT-4o gab ihm laut der Klageschrift direktere Ratschläge und nutzte seine Vorgeschichte des Substanzkonsums, um spätere Antworten zu gestalten.
Die Familie fordert das Gericht auf, ChatGPT als Produkt zu beurteilen und nicht lediglich als Chatbot. Sie werfen OpenAI fehlerhaftes Design, unterlassene Warnungen, Fahrlässigkeit, widerrechtliche Tötung und die Erteilung medizinischer Ratschläge ohne Zulassung vor.
Die Klage fordert Schadenersatz und gerichtlich angeordnete Änderungen, darunter stärkere Sicherheitsvorkehrungen, die Entfernung des KI-Modells aus der Nutzung durch Verbraucher sowie eine Aussetzung von ChatGPT Health, bis unabhängige Sicherheitsprüfungen abgeschlossen sind.
OpenAI sagt, ChatGPT sei jetzt sicherer
OpenAI weist die Darstellung der Klage von ChatGPT, wie es heute existiert, zurück und erklärt, die Interaktionen des Teenagers hätten mit einer früheren Version stattgefunden, die nicht mehr verfügbar ist. Drew Pusateri, ein Sprecher von OpenAI, sagte gegenüber Reuters, die Situation sei „herzzerreißend“, fügte jedoch hinzu: „ChatGPT ist kein Ersatz für medizinische oder psychologische Versorgung.“
Nachdem die Klage eingereicht worden war, kündigte OpenAI außerdem Sicherheitsupdates an die ChatGPT dabei helfen sollen, Risiken zu erkennen, die sich im Laufe der Zeit entwickeln. In einem Blogbeitrag erklärte das Unternehmen, der Chatbot werde darauf trainiert, „subtile oder sich entwickelnde Hinweise“ zu erkennen und mit einer Deeskalation zu reagieren, die Annahme schädlicher Details zu verweigern oder Nutzer auf sicherere Alternativen hinzuweisen.
Der Fall reiht sich außerdem in eine wachsende Gruppe von Klagen wegen Schäden durch Chatbots ein, darunter der Fall Adam Raine aus dem vergangenen Jahr, in dem Eltern OpenAI wegen widerrechtlicher Tötung beschuldigten, nachdem ChatGPT angeblich die Suizidgedanken eines Teenagers verstärkt hatte.
Das Gericht muss nun entscheiden, wie weit die Verantwortung reicht, wenn der privaten Beratung eines Chatbots angeblich eine Rolle bei einem Schaden in der realen Welt zukam.
OpenAI nutzt Daybreak, um KI-gestützte Sicherheitsarbeit näher an den Softwareentwicklungsprozess heranzuführen.