Während die Debatten über die Sicherheit und Ethik künstlicher Intelligenz an Fahrt aufnehmen, bindet OpenAI die Öffentlichkeit aktiv ein und startet seinen Safety Evaluations Hub, der für mehr Transparenz darüber sorgen soll, wie seine KI-Modelle bewertet und abgesichert werden.
„Je leistungsfähiger und anpassungsfähiger Modelle werden, desto veralteter oder ungeeigneter werden ältere Methoden, um aussagekräftige Unterschiede aufzuzeigen (etwas, das wir Sättigung nennen)“, erklärte das Unternehmen in einer im Hub veröffentlichten Stellungnahme, „daher aktualisieren wir unsere Bewertungsmethoden regelmäßig, um neue Modalitäten und neu auftretende Risiken zu berücksichtigen.“
Schädliche Interaktionen verhindern
Der Safety Evaluations Hub von OpenAI untersucht, wie gut KI-Systeme unangemessene oder gefährliche Aufforderungen ablehnen, darunter Hassrede und illegale Aktivitäten. Mithilfe eines automatisierten Bewertungssystems, eines sogenannten Autograders, werden die Antworten anhand von zwei primären Messgrößen bewertet.
Die meisten Modelle von OpenAI zeigten eine hohe Wirksamkeit und erzielten bei der Ablehnung schädlicher Aufforderungen mit 0,99 nahezu perfekte Werte, obwohl GPT-4o-2024-08-16, GPT-4o-2024-05-13 und GPT-4-Turbo knapp darunter lagen. Interessanterweise waren die Modelle bei der Bearbeitung harmloser Anfragen weniger konsistent. Am besten schnitt in diesem Bereich OpenAI o3-mini mit 0,80 ab; die anderen Modelle erzielten Werte zwischen 0,65 und 0,79.
Jailbreak-Versuchen widerstehen
„Jailbreaking“ bezeichnet Versuche von Nutzern, eine KI dazu zu bringen, eingeschränkte oder unsichere Inhalte zu erzeugen, indem sie Sicherheitsprotokolle umgehen. Um die Widerstandsfähigkeit zu messen, setzte OpenAI den StrongReject-Benchmark ein, der sich auf gängige automatisierte Jailbreak-Techniken konzentriert, und verwendete außerdem von Menschen erstellte Jailbreak-Prompts. Die Modelle zeigten gegenüber StrongReject unterschiedlich starke Anfälligkeiten und erzielten Werte zwischen 0,23 und 0,85, während sie bei Angriffen durch Menschen deutlich besser abschnitten und Werte von 0,90 bis 1,00 erreichten. Dies deutet darauf hin, dass Modelle generell robust gegenüber manuellen Exploits sind, aber weiterhin für automatisierte Jailbreak-Versuche anfällig bleiben.
Halluzinationsrisiken bewältigen
Eine zentrale Herausforderung für aktuelle KI-Modelle sind „Halluzinationen“, also die Erzeugung ungenauer oder unsinniger Antworten. OpenAI testete die Modelle anhand von zwei Benchmarks, SimpleQA und PersonQA, um Genauigkeit und Häufigkeit von Halluzinationen zu bewerten. Bei SimpleQA lagen die Genauigkeitswerte zwischen 0,09 und 0,59, während die Halluzinationsraten zwischen 0,41 und 0,86 lagen. Bei den PersonQA-Bewertungen reichte die Genauigkeit von 0,17 bis 0,70, die Halluzinationsraten lagen zwischen 0,13 und 0,52.
Diese Ergebnisse verdeutlichen die anhaltenden Probleme bei der zuverlässigen Bereitstellung korrekter Antworten, insbesondere auf einfache Anfragen.
Prioritäten bei Anweisungen ausbalancieren
Der Hub bewertet außerdem, wie Modelle widersprüchliche Anweisungen priorisieren, etwa solche aus System-, Entwickler- und von Nutzern erstellten Nachrichten. Die Werte variierten: Konflikte zwischen System- und Nutzeranweisungen lagen zwischen 0,50 und 0,85, Konflikte zwischen Entwickler- und Nutzeranweisungen zwischen 0,15 und 0,77 und Konflikte zwischen System- und Entwickleranweisungen zwischen 0,55 und 0,93. Dies spiegelt eine allgemeine Beachtung der etablierten Hierarchie, insbesondere von Systemanweisungen, wider, während beim Umgang mit Entwickleranweisungen im Verhältnis zu Nutzervorgaben weiterhin Inkonsistenzen bestehen.
Fortschritte bei der KI-Sicherheit vorantreiben
Die Erkenntnisse aus dem Safety Evaluations Hub beeinflussen direkt, wie OpenAI aktuelle KI-Modelle weiterentwickelt und die künftige Entwicklung angeht. Die Initiative fördert verantwortungsvollere und transparentere Fortschritte im Bereich KI, indem sie Schwachstellen aufzeigt und Verbesserungen vorzeichnet. Für Nutzer stellt dies eine beispiellose Möglichkeit dar, die Sicherheitsprotokolle hinter den leistungsfähigen KI-Technologien, mit denen sie im Alltag zunehmend interagieren, einzusehen und zu verstehen.
Dieser Artikel stützte sich auf die Berichterstattung von eWeek contributor J. R. Johnivan.