KI kann einen Patch erzeugen, der einen Exploit stoppt, und dennoch die Schwachstelle falsch beheben. Ein am 1. Aug. veröffentlichter neuer Benchmark ergab, dass einige von KI generierte Patches für Sicherheitslücken die betreffenden Angriffe abwehrten, aber legitimes Softwareverhalten beeinträchtigten. Damit gerät die Qualität der Validierung – nicht nur die Patch-Erstellung – unter Beobachtung.
Die Ergebnisse stellen Unternehmen, die KI-Sicherheitstools bewerten, vor ein praktisches Problem. Die Behebungsraten können deutlich besser aussehen, wenn die Tests beim ursprünglichen Exploit enden, während strengere Prüfungen Regressionen, fehlerhafte Behebungen der Grundursache und Änderungen aufdecken können, die dem vorgesehenen Anwendungsverhalten widersprechen.
Ein erfolgreicher Exploit-Test kann einen fehlerhaften Patch verschleiern
Der Vul4Py-Benchmark bewertet 100 reale Python-Sicherheitslücken aus 60 Open-Source-Projekten in 60 Kategorien der Common Weakness Enumeration. Jeder Fall kombiniert einen Exploit-Test mit den Funktionstests des jeweiligen Projekts. Ein Patch muss den Angriff also stoppen, ohne das erwartete Verhalten zu beeinträchtigen.
OpenHands behob 41 Sicherheitslücken, verglichen mit vier beim stärksten direkt angesteuerten Large Language Model und zwei bei einem spezialisierten Behebungstool. Alle drei nutzten dasselbe Claude-Sonnet-4-Backbone. Das deutet darauf hin, dass der Zugriff auf das Repository, die Testausführung und iterative Codeänderungen dazu beitrugen, dass der agentische Workflow in diesem Benchmark einfachere Ansätze übertraf.
Die Validierungsergebnisse waren ebenso bedeutsam. Über die sechs getesteten Ansätze hinweg stoppten 119 Patches die jeweils vorgesehenen Exploits, doch 15 scheiterten an den begleitenden Funktionstests. Von den 104 Patches, die beide Prüfungen bestanden, wurden 98 bei der manuellen Überprüfung als semantisch gleichwertig mit den Korrekturen der Entwickler eingestuft.
Plattformen für KI-Sicherheit bewegen sich bereits auf Workflows zu, die Erkennung und Verifizierung kombinieren. OpenAIs Daybreak-Sicherheitsinitiative nutzt Agenten, um Sicherheitslücken zu finden, sie in isolierten Umgebungen zu validieren und Korrekturen vorzuschlagen, statt bei der Entdeckung stehen zu bleiben.
Die Zahl der Befunde steigt bereits. Microsofts Patch Tuesday im Juli behob mit 570 Sicherheitslücken eine Rekordzahl, während das Unternehmen seinen Einsatz von KI-gestützter Suche nach Sicherheitslücken ausweitete – und damit den Prüfungs- und Behebungsaufwand für Sicherheitsteams weiter erhöhte.
Strengere Tests verändern die Kaufentscheidung
PVBench prüft Patches anhand eines strengeren Maßstabs. Der Validierungsbenchmark mit 209 Fällen ergänzt von Entwicklern verfasste Tests, die Anforderungen erfassen, die über das Stoppen des Exploits und die Wahrung der bestehenden Funktionalität hinausgehen.
Mehr als 40 % der Patches, die grundlegende Exploit- und Regressionstests bestanden hatten, scheiterten an diesen zusätzlichen Prüfungen. Die Forscher führten die Probleme hauptsächlich auf eine fehlerhafte Analyse der Grundursache, Verstöße gegen Spezifikationen und das Versäumnis zurück, die Absichten der Entwickler zu wahren.
Damit wird die Validierungsmethodik zu einer Frage der Beschaffung. Anbieter sollten erklären können, ob generierte Patches ausschließlich anhand eines Proof-of-Concept-Exploits getestet, durch Regressionssuiten ausgeführt, gegen das beabsichtigte Anwendungsverhalten geprüft und vor der Bereitstellung kontrolliert werden.
Einige KI-Sicherheitsprojekte behalten diese menschliche Ebene bereits bei. OpenAIs Patch-the-Planet-Programm kombiniert KI-Sicherheitsmodelle mit Ingenieuren, die Befunde reproduzieren, vorgeschlagene Korrekturen überprüfen und mit Maintainerinnen und Maintainer arbeiten, bevor Patches eingespielt werden.
Eine hohe Behebungsrate allein sagt wenig über die Einsatzreife aus, wenn schwache Tests fehlerhafte Korrekturen durchlassen. Unternehmen, die automatisierte Behebungslösungen bewerten, benötigen Belege dafür, dass das System die Funktionalität bewahren und die zugrunde liegende Schwachstelle beheben kann – und nicht lediglich Code erzeugt, der einen einzelnen bekannten Angriff abwehrt.
Mehr lesen: Das Skalierungsproblem ist bereits an anderer Stelle sichtbar: Anthropic brachte mit dem Mythos-Projekt Tausende potenzielle Sicherheitslücken ans Licht, während das Patchen weit hinter der Entdeckung zurückblieb – ein Zeichen dafür, warum Verifizierung und Behebungskapazität zunehmend darüber entscheiden, ob von KI gefundene Schwachstellen tatsächlich zu sichererer Software führen.