Wie sehr sollten Sicherheitsteams darauf vertrauen, dass KI die richtige Entscheidung trifft?
Michael Fanning, Chief Information Security Officer bei Splunk, ist der Ansicht, dass sich jedes Unternehmen diese Frage stellen sollte, wenn es Automatisierung in kritische Verteidigungsprozesse integriert.
Im Laufe seiner Karriere hat Fanning leistungsstarke Organisationen mit bis zu 300 Mitarbeitern geleitet. Heute führt er die weltweit verteilten Teams von Splunk, die die Bereiche Security Engineering, Identity and Access Management (IAM), Produktsicherheit, Erkennung und Reaktion, Governance, Risk and Compliance (GRC) sowie Sicherheitsschulungen und Sensibilisierung abdecken.
In diesem exklusiven eWeek Interview spricht Fanning über die Herausforderungen beim Umgang mit KI-Risiken – von Halluzinationen, die Warnmeldungen verfälschen können, bis hin zu Governance-Richtlinien, die Modelle zur Verantwortung ziehen.
F: Welche Art von KI-Halluzination ist für Sicherheitsteams in Unternehmen heute am gefährlichsten, und warum ist sie so schwer frühzeitig zu erkennen?
A: Die gefährlichste KI-Halluzination für Sicherheitsteams tritt auf, wenn die KI eine falsche Einschätzung zu einer Warnmeldung abgibt und eine echte Bedrohung fälschlicherweise als Fehlalarm verwirft.
Stellen Sie sich vor, Ihre Alarmanlage ignoriert einen Einbruch, weil der Eindringling als FedEx-Fahrer verkleidet ist. Sicherheitsteams könnten die echte Bedrohung übersehen, weil sie wie normale Aktivität aussieht. Frühzeitig ist sie nur schwer zu erkennen, da sich solche Halluzinationen häufig mit echten Warnmeldungen vermischen.
Da KI „Lücken füllen“ kann, wenn ihr nicht alle Fakten vorliegen, erzeugt sie manchmal Szenarien, die echt wirken. Dadurch wird es für Menschen schwieriger zu erkennen, was wahr ist und was nicht. Deshalb ist es so wichtig, dass Teams einen kritischen Blick bewahren und von der KI erzeugte Warnmeldungen überprüfen, statt sie für bare Münze zu nehmen.
F: Wie können Unternehmen halluzinierte oder ungenaue KI-Ausgaben zu ihrer Quelle zurückverfolgen – unabhängig davon, ob die Ursache in einem schlechten Prompt, veralteten Daten oder einer fehlerhaften Modelllogik liegt?
A: Die Quelle einer halluzinierten oder ungenauen KI-Ausgabe zurückzuverfolgen, ist ein bisschen so, als würde man herausfinden, warum ein Rezept nicht gelungen ist. Lag es an der Anleitung, an alten Zutaten oder an einem Missverständnis der einzelnen Schritte?
Bei KI müssen Unternehmen drei Dinge betrachten: den Prompt (was gefragt wurde), die Daten (die Informationen, aus denen die KI gelernt hat) und die Logik (wie die KI Entscheidungen trifft). Ein entscheidender Aspekt ist dabei: „Garbage in, garbage out.“ Die Qualität der Ausgabe hängt stark von der Qualität der Eingaben im gesamten Prozess ab. Das bedeutet, dass Trainingsdaten von hoher Qualität sein müssen, Prompts sorgfältig formuliert werden müssen und die Logik des Modells solide sein muss.
Durch gute „Audit-Trails“ können Teams den Prozess rückwärts verfolgen und sehen, an welcher Stelle etwas aus dem Ruder gelaufen ist. So lassen sich nicht nur einfache Fehler erkennen, sondern auch Muster, die künftig zu Problemen führen könnten.
F: Wie können Unternehmen den Bedarf an Transparenz in KI-Systemen mit dem Schutz proprietärer Daten und Modelle in Einklang bringen?
A: Transparenz und Schutz miteinander in Einklang zu bringen, ist ein bisschen so, als würde man Omas berühmtes Plätzchenrezept teilen, ohne die geheime Zutat zu verraten. Unternehmen wollen zeigen, wie ihre KI Entscheidungen trifft, damit Menschen den Ergebnissen vertrauen. Gleichzeitig müssen sie ihre einzigartigen Methoden und Daten vor Wettbewerbern schützen.
Ein Ansatz besteht darin, offen zu erklären, wie die KI zu ihren Schlussfolgerungen gelangt – ähnlich wie man die einzelnen Backschritte erläutert –, ohne jedes Detail preiszugeben. Unternehmen können außerdem Zusammenfassungen oder „Erklärungen“ zu Entscheidungen bereitstellen, statt Rohdaten oder Code offenzulegen. Ziel ist es, genügend Informationen zu geben, damit Menschen den Prozess verstehen und ihm vertrauen können, während das Besondere des Unternehmens unter Verschluss bleibt.
Das ist ein Balanceakt, aber mit den richtigen Richtlinien und einem Fokus auf verantwortungsvolle Weitergabe ist es möglich.
F: Welche Haltung sollten CISOs einnehmen, wenn sie KI in ihre Sicherheitsprozesse integrieren, und wie lässt sich das Prinzip „Vertrauen, aber überprüfen“ umsetzen, um eine übermäßige Abhängigkeit von Automatisierung zu vermeiden?
A: CISOs sollten die Integration von KI mit einer Haltung angehen, die die Zusammenarbeit von Maschinen und Menschen in den Mittelpunkt stellt.
KI kann große Mengen an Sicherheitsdaten verarbeiten und potenzielle Bedrohungen schneller hervorheben als Menschen allein. Dennoch darf man nicht vergessen, dass Algorithmen Fehler machen oder nuancierte Zusammenhänge übersehen können. Die richtige Haltung besteht darin, KI als leistungsstarkes Werkzeug einzusetzen, das menschliches Urteilsvermögen unterstützt, nicht ersetzt. Dazu gehören regelmäßige Prüfungen, Warnmeldungen bei ungewöhnlichem Verhalten der KI und eine Kultur, in der Teammitglieder automatisierte Ausgaben routinemäßig überprüfen. Indem Sicherheitsverantwortliche die Geschwindigkeit der KI mit menschlichem kritischem Denken verbinden, können sie die Vorteile der Automatisierung nutzen und zugleich gegenüber Fehlern oder neu auftretenden Risiken wachsam bleiben.
Kurz gesagt: KI sollte menschliche Expertise ergänzen, wobei Überprüfung und Verantwortlichkeit in jeden Prozessschritt eingebaut sein müssen.
F: Welche rechtlichen oder Compliance-Rahmenwerke müssen sich am dringendsten weiterentwickeln, um mit der Unberechenbarkeit generativer KI und ihrem Risiko der Verbreitung von Falschinformationen Schritt zu halten?
A: Auch wenn Gesetze und Vorschriften noch mit der rasanten Entwicklung generativer KI Schritt halten müssen, sollten Unternehmen nicht auf externe Vorgaben warten, bevor sie handeln. Selbst ohne klare Regulierung haben Sicherheitsteams jetzt die Möglichkeit und die Verantwortung, eine starke interne Governance und Schutzvorkehrungen umzusetzen. Am dringendsten sind klarere Regeln zur Verantwortlichkeit – etwa dazu, wer verantwortlich ist, wenn die KI einen Fehler macht oder falsche Informationen verbreitet.
Wir brauchen außerdem aktualisierte Standards für Datenschutz und Datensicherheit, da KI-Modelle häufig riesige Informationsmengen verwenden. Rahmenwerke, die Unternehmen dabei unterstützen, ihre KI-Entscheidungen zu dokumentieren, zu prüfen und zu erklären, werden dazu beitragen, Vertrauen aufzubauen und sicherzustellen, dass alle nach denselben Regeln handeln. Unternehmen können jedoch selbst eine Vorreiterrolle einnehmen, indem sie eigene Richtlinien und Kontrollen intern entwickeln und anpassen und diese anschließend weiter verfeinern, sobald offizielle Vorschriften entstehen.
Proaktive Governance bereitet Unternehmen nicht nur auf künftige rechtliche Änderungen vor, sondern trägt auch dazu bei, schon heute Vertrauen aufzubauen und Risiken zu reduzieren.
F: Wie sieht ein wirklich vertrauenswürdiges KI-Ökosystem aus, und welche Verfahren oder Technologien könnten dabei helfen, das Vertrauen in KI-gestützte Entscheidungen wiederherzustellen?
A: Ein wirklich vertrauenswürdiges KI-Ökosystem ermöglicht es Nutzern, nicht nur die Schlussfolgerungen der KI zu sehen, sondern auch die zugrunde liegenden Daten, Schritte und Überlegungen – ähnlich wie ein Mathematiklehrer von Schülern verlangt, ihren Rechenweg zu zeigen, statt nur die endgültige Antwort aufzuschreiben.
Vertrauen entsteht, wenn Unternehmen für Transparenz sorgen und offenlegen, welche Daten verwendet wurden, welchen Prozessen und welcher Logik die KI folgte und wie wichtige Entscheidungen getroffen wurden. Wenn Unternehmen sowohl die Stärken als auch die Grenzen ihrer KI offen kommunizieren, gewinnen Menschen ihr Vertrauen zurück, und KI wird zu einem Werkzeug, auf das man sich verlassen kann.
F: Möchten Sie zu diesem Thema noch etwas hinzufügen?
A: Ich möchte hinzufügen, dass KI zwar ein leistungsstarkes Werkzeug ist, wir aber darauf achten müssen, dass unser grundlegendes Verständnis von Systemen und Technologie nicht erodiert, je stärker wir uns auf sie verlassen – so wie viele von uns heute vermutlich Schwierigkeiten hätten, ohne Taschenrechner eine schriftliche Division durchzuführen.
Es ist unerlässlich, grundlegende Fähigkeiten zu bewahren und darauf vorbereitet zu sein, zu handeln, wenn die Technologie ausfällt, denn eine übermäßige Abhängigkeit stellt ein reales Risiko dar. Die besten Ergebnisse entstehen, wenn menschliche Expertise mit den Stärken der KI verbunden wird, man wachsam gegenüber Fehlern bleibt und sich auf Transparenz und Verantwortung konzentriert. Auf unserem weiteren Weg wird dies dazu beitragen, das Potenzial der KI zu erschließen, unsere Unternehmen zu schützen und Vertrauen ins Zentrum zu stellen.
Während sich KI weiterentwickelt, betonen CISOs wie Michael Fanning, dass Vertrauen kein Nebenprodukt der Technologie ist, sondern das Ergebnis wirksamer Governance.
Unternehmen, die Innovation mit Transparenz verbinden, die Prüfbarkeit aufrechterhalten und die menschliche Kontrolle bewahren, werden am besten dafür gerüstet sein, das Potenzial der KI zu nutzen und gleichzeitig Risiken zu minimieren.
Für Splunk und andere Unternehmen ist der Auftrag klar: KI-Systeme entwickeln, die intelligent handeln und in einer zunehmend automatisierten Welt Vertrauen bewahren.