‘ChatGPhish’-Angriff verwandelt ChatGPT-Zusammenfassungen in Phishing-Köder

Ein Phishing-Köder muss möglicherweise nicht in einem Posteingang landen, wenn er sich stattdessen das Vertrauen von ChatGPT zunutze machen kann.

Sicherheitsforscher von Permiso haben eine Prompt-Injection-Schwachstelle offengelegt, die sie ChatGPhish nennen und durch die von Angreifern kontrollierte, in Webseiten verborgene Inhalte in ChatGPT erscheinen können, wenn Nutzer den Assistenten bitten, eine Seite zusammenzufassen. Das Problem kompromittiert ChatGPT selbst nicht, könnte die vertrauenswürdige Oberfläche der KI jedoch in einen Verbreitungskanal für Phishing-Links, gefälschte Warnungen, Tracking-Pixel oder bösartige QR-Codes verwandeln.

Der Bericht weist auf ein umfassenderes KI-Sicherheitsproblem hin, das weit über einen einzelnen Chatbot-Typ hinausgeht. Da große Sprachmodelle (LLMs) Schwierigkeiten haben, vertrauenswürdige Anweisungen von nicht vertrauenswürdigen externen Inhalten zu unterscheiden, nehmen Angreifer nun die von KI-Tools verarbeiteten Informationen ins Visier und nicht die Systeme selbst. So entstehen Wege für Cyberangriffe, die auf geliehenem Vertrauen beruhen.

Wie eine vertrauenswürdige KI-Plattform zum Werkzeug für Angriffe wurde

Im Zentrum dieser Kampagne steht eine Prompt-Injection-Technik, die ChatGPT in eine Zwischenstation für Malware verwandelt. Sie beginnt damit, dass Angreifer bösartige Anweisungen, die LLMs verstehen, in Webinhalten verbergen.

Das erste Problem ist hier die Prompt-Injection selbst. Wenn es eine Schwachstelle gibt, für die LLMs bekanntermaßen immer wieder anfällig sind, dann ist es ihre Unfähigkeit, legitime Webinhalte effektiv von eingebetteten bösartigen Inhalten in Webseiten zu unterscheiden. Diese Schwachstelle steht auf Platz eins der OWASP Top 10 for LLM Applications 2025, was ihre kritische Bedeutung unterstreicht. 

Da ChatGPT diese Unterscheidung nicht treffen kann, strukturiert es seine Antwort einfach anhand dieser Anweisung. Den Forschern zufolge könnte ChatGPTs Antwort-Renderer Markdown-Links und Bild-URLs von Webseiten Dritter vertrauen und sie als anklickbare Elemente darstellen, die innerhalb seiner Oberfläche entfernte Inhalte abrufen. 

Das bedeutet, dass ein in eine Webseite eingebetteter bösartiger Link oder ein entsprechendes Bild in ChatGPTs Antwort erscheinen kann, sodass Phishing-Aufforderungen wie vom System generiert und nicht wie von Angreifern kontrolliert wirken.

In dieser Phase wird der Angriff überzeugender, indem er das Vertrauen in ChatGPT nutzt, um Nutzer zu täuschen, die es bereits als hilfreich und maßgeblich ansehen. Daraus entsteht ein Problem der Vertrauensübertragung – ein Muster, das bei mehreren bösartigen Kampagnen beobachtet wurde. Eine der hervorgehobenen Methoden besteht darin, gefälschte Sicherheitswarnungen und Kontobenachrichtigungen im Stil von Systemmeldungen anzuzeigen, die sich nahtlos in ChatGPTs vertraute Formatierung einfügen. 

Es geht jedoch über eingestreuten Text hinaus. Dem Bericht zufolge hosten Angreifer außerdem Tracking-Pixel in den zusammengefassten Webinhalten, wodurch möglicherweise die IP-Adresse, Browserinformationen, das Datum und die Referrer-ID des Opfers offengelegt werden.

In einem weiteren Beispiel könnten Angreifer QR-Codes direkt in ChatGPTs Antwort einbetten und die Opfer dazu auffordern, sie mit ihren Mobilgeräten zu scannen, wodurch sich desktopbasierte Sicherheitsmaßnahmen umgehen lassen.

Worauf Nutzer achten sollten

Nach dem Zeitablauf der Offenlegung zu urteilen, scheint OpenAI bislang keine Fehlerbehebung implementiert zu haben, obwohl zweimal Meldung erstattet und anschließend um eine Klarstellung zu den Auswirkungen gebeten wurde. OpenAI soll sich des Problems jedoch bewusst sein, da das Unternehmen auf die erste Meldung mit „Nicht reproduzierbar“ antwortete.

Nutzer sollten daher bei der Verwendung von ChatGPT oder ähnlichen LLMs vorsichtig sein, um auf der sicheren Seite zu bleiben. Da dieser Angriff von der Zusammenfassung von Seiten ausgeht, sollte man ChatGPT am besten nicht bitten, Webseiten zusammenzufassen. Wenn dies unumgänglich ist, sollte sichergestellt werden, dass die Zusammenfassung von einer vertrauenswürdigen Website stammt.

Die sicherste Regel für Nutzer ist einfach: Behandeln Sie Links, Bilder und QR-Codes in KI-generierten Zusammenfassungen als nicht vertrauenswürdig, sofern sie nicht aus einer Quelle stammen, die Sie überprüfen können. ChatGPT kann die Seite zusammenfassen, aber das bedeutet nicht, dass jedes von ihm angezeigte Element sicher ist.

Lesen Sie auch: Googles AI Search lässt sich durch eingeschleuste Webinhalte manipulieren, was zu neuen Spam-Regeln für AI Overviews und den AI Mode geführt hat.