Meta zahlte einem Sicherheitsforscher 300.000 US-Dollar für die Entdeckung einer Authentifizierungslücke, durch die Unterhaltungen und Zugriffstoken auf virtuellen Maschinen offengelegt wurden, die zum Testen seines KI-Agenten Muse dienten. Die Schwachstelle wurde etwa vier Monate vor dem Start von Muse am 8. September entdeckt. Meta zufolge wurde der betroffene Dienst während der frühen internen Tests abgeschaltet und das Problem behoben.
Die Prämie war die höchste im Bug-Bounty-Programm von Muse, das für 64 gültige Findings aus mehr als 630 Einsendungen insgesamt rund 1,2 Millionen US-Dollar ausgezahlt hat. In Metas jüngster Veröffentlichung werden außerdem Prompt-Injection-Angriffe, Schwachstellen bei der Filterung von Zugangsdaten sowie Sicherheitslücken in den Android- und Mac-Apps beschrieben.
Wie die Authentifizierungslücke über 300.000 US-Dollar interne Muse-Daten offenlegte
Laut Metas Mitteilung vom 2. Novemberging die Schwachstelle auf eine Authentifizierungsprüfung zurück, die einem von einem lokalen HTTPS-Proxy hinzugefügten Header vertraute.
Durch eine Systemmigration wurde eine zweite Proxy-Ebene eingeführt, sodass externe Anfragen denselben vertrauenswürdigen Header übermitteln konnten. Ein Sicherheitsforscher nutzte diese Schwachstelle aus, um auf Unterhaltungen und Token zuzugreifen, die auf virtuellen Vorabversion-Maschinen gespeichert waren, die von Meta-Mitarbeitern und -Ingenieuren genutzt wurden.
Meta zufolge wurde der Dienst abgeschaltet, die Schwachstelle behoben und die Annahme entfernt, dass lokal stammende Anfragen grundsätzlich vertrauenswürdig seien.
Das Unternehmen hat nicht offengelegt, wie viele Testmaschinen betroffen waren, über welche Berechtigungen die betroffenen Token verfügten oder ob diese Zugangsdaten widerrufen wurden.
Meta legte außerdem vier weitere Findings offen, für die Prämien gezahlt wurden:
- 90.000 US-Dollar für Prompt-Injection:Eine bösartige Webseite imitierte die Nachrichten von Muses Browser-Tool und brachte den Agenten dazu, Aktionen auszuführen, die seine Schutzmechanismen eigentlich hätten verhindern sollen.
- 90.000 US-Dollar für die Filterung von Zugangscodes:Speziell formatierter Text umging E-Mail-Redaktionsfilter, die zum Schutz einmaliger Zugangscodes entwickelt worden waren.
- 50.000 US-Dollar für eine Android-Schwachstelle:Eine bösartige App konnte eine vom Angreifer kontrollierte Seite in eine privilegierte WebView laden und dadurch möglicherweise deren Zugangsdaten erlangen.
- 1.000 US-Dollar für eine Mac-Schwachstelle:Ein Angreifer mit Zugriff auf den Computer konnte den automatischen Aktualisierungsmechanismus von Muse missbrauchen, um Code mit den Berechtigungen der Anwendung auszuführen.
Meta zufolge wurden die gemeldeten Schwachstellen behoben. Beim Angriff auf das Browser-Tool erkennen die internen Klassifikatoren nun Berichten zufolge die ursprüngliche Technik und 100 Varianten davon.
Die Findings gehen über das Modellverhalten hinaus. Unternehmen müssen außerdem ermitteln, wo Agenten Zugangsdaten speichern und auf welche Daten sie zugreifen können. Microsofts Defender- und Purview-Steuerelementeschaffen Transparenz bei lokal ausgeführten KI-Agenten und einer möglichen Datenoffenlegung.
Metas Mitteilung enthält keine unabhängige Validierung der verbesserten Erkennungsergebnisse und keine Angabe zur Falsch-Positiv-Rate.
Was eWeek herausgefunden hat: drei Sicherheitsprüfungen, die Unternehmen priorisieren sollten
Bei der Schwachstelle über 300.000 US-Dollar handelte es sich um einen Authentifizierungsfehler, nicht um einen Exploit des KI-Modells. Eine Systemmigration veränderte, welche Anfragen einen vertrauenswürdigen Header tragen konnten, sodass ein Angreifer eine Sicherheitsgrenze überwinden konnte.
Die anderen Findings legten Schwachstellen darin offen, wie Muse Webinhalte interpretierte, Zugangsdaten schützte und Anwendungsberechtigungen handhabte.
Für Unternehmen, die KI-Agenten einsetzen, ergeben sich aus den offengelegten Schwachstellen drei Prüfbereiche:
- Änderungen an Authentifizierung und Infrastruktur:Überprüfen Sie die Authentifizierung über alle Proxy-Ebenen hinweg und testen Sie Vertrauensannahmen nach Migrationen erneut. Header, die auf einen internen Ursprung hinweisen, sollten nicht automatisch Zugriff auf vertrauliche Unterhaltungen oder Zugangsdaten gewähren.
- Agentenberechtigungen und Tool-Ausgaben:Verhindern Sie, dass nicht vertrauenswürdige Webinhalte sensible Aktionen autorisieren. Beschränken Sie die Berechtigungen von Agenten und verlangen Sie für folgenreiche Vorgänge eine Bestätigung. Microsofts dynamische Agentenberechtigungenbieten einen Ansatz, um den Zugriff an sich verändernde Agentenrisiken anzupassen.
- Isolierung und Wiederherstellung von Zugangsdaten:Ermitteln Sie, wo Token gespeichert werden, über welche Berechtigungen sie verfügen und wie schnell sie widerrufen werden können. Mit mehreren Geschäftsanwendungen verbundene KI-Agenten schaffen zusätzliche Risiken, wenn Zugangsdaten kompromittiert werden. Unternehmens-Identitätskontrollenwerden zunehmend auf diese Herausforderungen beim Zugriff ausgerichtet.
Metas Mitteilung bestätigt, dass Sicherheitsforscher während der Vorabtests auf Unterhaltungen und Token zugreifen konnten. Sie belegt jedoch keine Kompromittierung von Nutzern in der Produktionsumgebung.
Das Unternehmen hat jedoch weder die Zahl der betroffenen Maschinen noch den Umfang der offengelegten Zugangsdaten oder eine unabhängige Bewertung seiner Prompt-Injection-Schutzmaßnahmen veröffentlicht.
Unternehmen, die Muse evaluieren, sollten Nachweise anfordern, dass Authentifizierungsgrenzen erneut getestet wurden, Zugangsdaten angemessen isoliert sind und die Schutzmaßnahmen gegen Prompt-Injection auch über die im Bug-Bounty-Programm demonstrierten spezifischen Angriffe hinaus funktionieren.
Metas öffentliches Bug-Bounty-Programm ist weiterhin aktiv und bietet für qualifizierte Meldungen bis zu 300.000 US-Dollar, darunter bis zu 130.000 US-Dollar für Prompt-Injection-Angriffe, die einen einzelnen Nutzer betreffen.
Separat hat Meta die Freigabefunktion von Muse pausiert, nachdem vertrauliche KI-Unterhaltungen öffentlich auffindbar wurden, was zusätzliche Fragen dazu aufwirft, wie der Agent Nutzerinformationen schützt.