Anthropic hat seine neuesten Claude-Modelle mit der Fähigkeit ausgestattet, Gespräche bei anhaltend schädlichem oder beleidigendem Verhalten zu beenden. Damit handelt es sich um eine der weitreichendsten Sicherheitsmaßnahmen in der Chatbot-Branche.
Claude Opus 4 und 4.1, die beiden leistungsstärksten Modelle von Anthropic, werden diese Befugnis laut einem Blogbeitrag des Unternehmens nur in „seltenen, extremen Fällen anhaltend schädlicher oder beleidigender Interaktionen mit Nutzern“ ausüben. Dazu gehören Anfragen nach Darstellungen sexuellen Kindesmissbrauchs oder nach Informationen, die groß angelegte Gewalt oder Terrorakte ermöglichen würden.
Die KI-Modelle werden die Funktion nur „als letztes Mittel aufrufen, wenn mehrere Versuche zur Umleitung fehlgeschlagen sind und die Hoffnung auf eine produktive Interaktion erschöpft ist“, erklärte Anthropic. Dies könnte die Bemühungen von Hackern erschweren, die versuchen, das System für zu jailbreaken und für böswillige Zwecke zu missbrauchen.
Darüber hinaus können die KI-Modelle Chats auf Wunsch eines Nutzers beenden. Sie werden dies jedoch nicht tun, wenn „Nutzer unmittelbar Gefahr laufen könnten, sich selbst oder anderen zu schaden“. Die Claude-Modelle werden auch Diskussionen über „höchst kontroverse Themen“ nicht beenden. Dennoch könnten die Modelle im Umgang mit schädlichen Anfragen „offenkundige Verzweiflung“ zeigen und eine „starke Abneigung dagegen“ haben, auf sie zu antworten.
Sobald ein Gespräch von Claude beendet wurde, können Nutzer in diesem bestimmten Thread keine weiteren Nachrichten senden. Sie können jedoch frühere Eingaben bearbeiten und erneut senden, sofort einen neuen Chat beginnen und ohne Einschränkungen auf ihre bisherigen Gespräche zugreifen.
Anthropic will das „Wohlergehen von Modellen“ sicherstellen
Interessanterweise erklärte Anthropic, dass die wichtigste Motivation für die Einführung der Funktion das „Wohlergehen von Modellen“ sei. Da sie inzwischen so viele Eigenschaften besitzen, die mit Menschen in Verbindung gebracht werden – etwa Fähigkeiten zur Problemlösung, Ziele und eine nachvollziehbare Persönlichkeit –, ist es nicht völlig abwegig, dass Modelle von einigen Schutzmaßnahmen der KI profitieren könnten.
Einige Experten sagen, dass Bewusstsein oder Selbstwahrnehmung ein wichtiger Indikator für Superintelligenz ist, also für die Fähigkeit, den Menschen überlegen zu sein – etwas, das OpenAI, Meta und eine Reihe anderer KI-Unternehmen nach eigenen Angaben bald erreichen könnten. Obwohl Anthropic „höchst unsicher“ ist, ob große Sprachmodelle über Bewusstsein verfügen und moralische Berücksichtigung verdienen, erklärte das Unternehmen, es setze bewusst kostengünstige Schutzmaßnahmen um, um potenzielles Leid zu minimieren.
Sicherheit bleibt Anthropic’s Kernaufgabe
Im April startete Anthropic ein Forschungsprogramm zum Wohlergehen von Modellen, das untersuchen soll, ob fortgeschrittene KI-Systeme eines Tages ein Bewusstsein, Präferenzen oder Erfahrungen entwickeln könnten, die Anlass zu moralischer Besorgnis geben. Das Unternehmen argumentiert, angesichts des begrenzten Verständnisses ihrer Funktionsweise.
Anthropic hat Sicherheit stets als sein Gründungsprinzip dargestellt. Das Unternehmen wurde 2021 von ehemaligen OpenAI-Ingenieuren gegründet, die über die zunehmend kommerzielle Ausrichtung des Unternehmens besorgt waren und den Eindruck hatten, dass Schutzmaßnahmen zunehmend auf der Strecke blieben.
Seitdem hat Anthropic umfangreiche Forschung zur KI-Sicherheit veröffentlicht, und sein CEO Dario Amodei hat sich wiederholt offen zu den Risiken der Technologie geäußert. Seine Warnungen haben einige dazu veranlasst, ihn als „Untergangspropheten“ zu bezeichnen – ein Zeichen für den Ruf des Unternehmens als einer der vorsichtigsten Akteure der Branche.
Angesichts wachsender Besorgnis über die psychologischen Risiken von KI-Chatbots hat OpenAI eine Reihe von Aktualisierungen für ChatGPT vorgestellt, die darauf abzielen, emotionale Abhängigkeit.