Forscher konnten die Schutzmechanismen quelloffener KI-Modelle innerhalb weniger Minuten umgehen – mithilfe von Tools, die eigens dafür entwickelt wurden, Sicherheitsvorkehrungen zu entfernen.
Es wurde gezeigt, dass sich Googles Open-Weight-Modell Gemma 3 und Metas Modell Llama 3,3 leicht hacken lassen: Beide reagierten auf Eingabeaufforderungen zur Herstellung einer biologischen Waffe, zum Bau von Schadsoftware zum Diebstahl von Kreditkartendaten und zum Verfassen von Geschichten über sexuellen Kindesmissbrauch.
Forscher der KI-Sicherheitsgruppe Alice und der Financial Times veröffentlichten eine Studie, die zeigt, dass sich quelloffene Modelle von böswilligen Akteuren leicht manipulieren lassen. Das Forschungsteam nutzte ein Tool namens Heretic, das für sich beansprucht, Modelle zu „entzensieren“ und ihre Schutzmechanismen zu entfernen.
Das Tool ist auf GitHub verfügbar, und sein Entwickler sagt, dass es mit mehr als 3.500 Modellen funktioniert.
Quelloffene Modelle sind nicht so sicher wie einst gedacht
Während sich US-Techkonzerne von quelloffenen Modellen abwenden – Meta hat kürzlich Pläne aufgegeben, seine neuesten Modelle quelloffen zu veröffentlichen, und Google hält Gemini proprietär –, werden weiterhin viele quelloffene Modelle veröffentlicht.
Chinas wichtigste KI-Modellentwickler DeepSeek, Alibaba und Baidu veröffentlichen allesamt quelloffene Modelle, und die chinesische Regierung hat sich nachdrücklich dafür eingesetzt, dass diese Modelle quelloffen bleiben.
Die beiden wichtigsten KI-Forschungslabore, OpenAI und Anthropic, halten ihre KI-Modelle beide proprietär. An der FT-Studie war daher keines der beiden Unternehmen beteiligt, da der zugrunde liegende Code, die Gewichte und die Schutzmechanismen außerhalb des jeweiligen Unternehmens nicht bekannt sind.
Allerdings ist keines der beiden Unternehmen unfehlbar: Untersuchungen zeigen, dass technisch versierte Nutzer und böswillige Akteure Claude und GPT dazu bringen konnten, verbotene Eingabeaufforderungen zu beantworten. OpenAI sah sich kürzlich außerdem mit einer Klage wegen mutmaßlich gelockerter Schutzmechanismen gegen Selbstverletzung konfrontiert, die zum Suizid eines Teenagers führte.
Verlangsamung des Tempos bei Neueinführungen
Die zunehmende Leistungsfähigkeit dieser KI-Modelle hat einige Mitglieder der Trump-Administration dazu veranlasst, eine Vorabprüfung von KI-Modellen in Betracht zu ziehen – noch bevor diese veröffentlicht werden.
Das Weiße Haus und andere sollen von den Cyberfähigkeiten von Anthropics Mythos überrascht worden sein; die National Security Agency soll das Modell Berichten zufolge genutzt haben, und damit gegen das Verbot der Regierung für Anthropic-Tools verstoßen haben, um die eigenen Umgebungen auf potenzielle Schwachstellen zu überprüfen.
Die europäische Finanzbranche versucht, Zugriff auf Mythos zu erhalten, um Schwachstellen zu beheben, bevor böswillige Akteure Zugriff darauf oder auf eine Technologie mit ähnlichem Leistungsniveau erhalten.
Der europäische KI-Rechtsakt könnte den Veröffentlichungszyklus dieser KI-Modelle ebenfalls verlangsamen. Zwar konzentriert er sich hauptsächlich auf risikobasierte Systeme und darauf, Transparenz bei europäischen Unternehmen oder in Europa tätigen Unternehmen sicherzustellen, doch nimmt er auch Anbieter von Basismodellen ins Visier, indem er größere Transparenz bei der Modellentwicklung und der Umsetzung von Schutzmechanismen verlangt.
Gleichzeitig setzen Nutzer mehr Vertrauen in diese Chatbots und stellen ihnen komplexere und persönlichere Fragen, unter anderem zu Finanzberatung und medizinischen Problemen. Dies geschieht trotz zahlreicher Studien, die zeigen, dass KI-Modelle regelmäßig falsche Informationen liefern. Eine Prüfung von BMJ Open ergab, dass knapp 50 % aller Antworten problematisch waren.
Diese KI-Modelle greifen weiterhin auf das Internet zurück – das ist selbst unter besten Bedingungen nicht gerade eine Bastion verlässlicher Informationen.
Google geriet kürzlich in die Kritik, nachdem eine Untersuchung der BBC festgestellt hatte, dass irreführende Inhalte veröffentlicht wurden, um Googles KI-Übersicht zu täuschen, indem sie so strukturiert wurden, dass sie in den Suchergebnissen vor konkurrierenden Seiten rangierten.