Anthropic Wants to Prove Which AI Model Is Actually Answering You

Unternehmen können für den Zugriff auf ein Premium-KI-Modell bezahlen, eine überzeugende Antwort erhalten und dennoch keinen Beleg in der Antwort selbst haben, dass das beworbene Modell ihre Anfrage bearbeitet hat. Ein auf dem Bildschirm angezeigter Name zeigt ihnen lediglich, was der Anbieter behauptet.

Anthropic stellte FlashProve am 2. Nov. vor – einen quelloffenen Forschungsprototyp, der es Kunden ermöglichen könnte, unabhängig zu überprüfen, welches Modell hinter einer KI-Antwort steckt, ohne die proprietären Gewichte des Modells offenzulegen.

Da immer mehr Organisationen über externe Plattformen auf KI zugreifen, könnte die Möglichkeit, die Modelle hinter diesen Diensten zu bestätigen, Kunden eine neue Möglichkeit geben, Anbieter und die von ihnen bezahlte Technologie zu bewerten.

Ein Modell mit 400 Milliarden Parametern stellt FlashProve auf die Probe

FlashProve beginnt mit einem mathematischen Fingerabdruck, der ein bestimmtes KI-Modell repräsentiert. Nach der Beantwortung einer Anfrage kann der Anbieter einen separaten Beweis erstellen, den Kunden mit diesem Fingerabdruck abgleichen, ohne auf die Gewichte des Modells zuzugreifen, wie aus Anthropics Forschung hervorgeht.

Die Forscher testeten das System mit einer Version von Metas Llama 4 Maverick für Ganzzahlarithmetik und verwendeten 4-Bit-Gewichte. Das Mixture-of-Experts-Modell enthält insgesamt ungefähr 400 Milliarden Parameter. Claude half dabei, die Verifizierungssoftware zu optimieren. Die Forscher verwendeten Lean, ein formales Verifizierungssystem, um festgelegte mathematische Sicherheitseigenschaften zu beweisen. Diese Garantien erstrecken sich nicht automatisch auf die schnelle C++-Verifizierungssoftware.

Jeder Beweis war ungefähr 19 MB groß, und seine Verifizierung dauerte auf einem Computerprozessor mit 24 Threads 17 Sekunden. Kunden, die die Prüfung durchführen, bräuchten nicht die teuren Grafikprozessoren, mit denen das KI-Modell ausgeführt wird. Der wichtigste Benchmark prüfte innerhalb eines Fensters von 1.024 Token ein generiertes Token pro Anfrage. Die Forscher testeten außerdem die Prüfung jedes Antwort-Tokens und stellten keinen messbaren Geschwindigkeitsunterschied fest.

Die Erstellung dieser Beweise war deutlich anspruchsvoller. In seinen Benchmark-Vergleichen maß Anthropic mit vLLM, einer weit verbreiteten Inferenz-Engine, ungefähr das 70- bis 95-Fache der GPU-Zeit der Prompt-Verarbeitung.

Unternehmen könnten FlashProve zur Überprüfung von KI-Diensten nutzen

Unternehmen bewerten ein KI-Modell möglicherweise für bestimmte Aufgaben, bevor sie es zur Nutzung freigeben. Wenn ein Dienst später eine andere Version bereitstellt, könnten sich seine Antworten von denen des Systems unterscheiden, dessen Nutzung die Mitarbeiter genehmigt bekommen hatten. Plattformen wie Microsoft Foundrybieten Zugriff auf Modelle mehrerer Entwickler und damit eine mögliche Anwendung für unabhängige Verifizierung.

Nicht autorisierte Änderungen stellen ein weiteres Szenario dar. Organisationen könnten die Technologie einsetzen, um zu untersuchen, ob ein genehmigtes Modell verändert oder ersetzt wurde. Externe Prüfer könnten außerdem kontrollieren, ob ein während KI-Sicherheitsbewertungen überprüftes System mit der Version übereinstimmte, die Kunden später zur Verfügung gestellt wurde.

Anthropic untersuchte zuvor eine andere Verifizierungsmethode in seiner Frontier Safety Roadmap. Das GitHub-Repository von FlashProve stellt den neueren Prototyp für Forschungszwecke bereit, bezeichnet ihn jedoch als nicht gewartetes Forschungsartefakt. Eine Integration in kommerzielle Claude-Dienste wurde nicht angekündigt.

Was eWeek herausgefunden hat: Prüfungen der KI-Identität erfordern mehr als einen gültigen Beweis

Die technische Dokumentation von FlashProvezeigt, warum Unternehmen prüfen müssten, was ein Beweis tatsächlich abdeckt, bevor sie ihn als Beleg dafür betrachten, dass ein Anbieter das gekaufte Modell geliefert hat.

• Eine exakte Übereinstimmung unterscheidet sich von der üblichen KI-Generierung. Keine der 192 gespeicherten Antworten, die durch herkömmliche Gleitkomma-Inferenz erzeugt wurden, stimmte an jeder Position mit dem Token mit der höchsten Bewertung des Ganzzahlmodells überein. Die Forscher bewerteten diese Antworten, ohne eine vollständige kryptografische Verifizierung durchzuführen. Das Ergebnis zeigt ein Kompatibilitätsproblem zwischen Inferenzmethoden; es belegt nicht, dass ein Anbieter ein anderes Modell eingesetzt hat.
• Flexiblere Prüfungen bieten engere Zusicherungen. Eine alternative Bewertungsrichtlinie erlaubt Abweichungen von den Tokens mit der höchsten Bewertung des Modells. Die Akzeptanz hängt von den konfigurierten Grenzwerten ab und belegt nicht, wie der Text erzeugt wurde. Unternehmen müssten diese Grenzwerte prüfen, bevor sie entscheiden, ob das Ergebnis eine aussagekräftige Zusicherung bietet.
• Die Modellidentität benötigt eine unabhängige Referenz. Kunden müssen die Commitment-ID des Modells von einer vertrauenswürdigen Stelle erhalten, die dessen Identität bestätigt. Würde diese Kennung nur von dem zu prüfenden Dienst akzeptiert, hätten Kunden keine unabhängige Grundlage zur Identifizierung des Modells.
• Der Abdeckungsbereich ist entscheidend. Ein Beweis gilt für die zur Prüfung ausgewählten Token-Positionen. Die Verifizierung eines Teils einer Antwort authentifiziert nicht den verbleibenden Text. Kunden müssten daher sicherstellen, dass die Prüfung die Ausgabe abdeckt, der sie vertrauen wollen.

Für Unternehmen, die die KI-Governance in Unternehmenverwalten, könnten diese Unterschiede künftige Anbieterbewertungen prägen. Käufer müssten fragen, welches Modell-Commitment authentifiziert wird, welche Ausgaben abgedeckt sind und welche Abweichungen die Verifizierungsrichtlinie erlaubt.

Selbst eine erfolgreiche Identitätsprüfung würde Genauigkeit, Sicherheit und Eignung für eine geschäftliche Aufgabe separaten Bewertungen überlassen. Der potenzielle Wert von FlashProve besteht darin, Kunden stärkere Belege für die Bereitstellung des Modells zu geben – vorausgesetzt, die Verifizierungsbedingungen sind klar.

Weitere KI-Neuigkeiten: KI-Agenten verbringen möglicherweise schon bald mehr Zeit damit, in simulierten Büros zu üben, während Plato Trainingsumgebungen entwickeltauf Grundlage tatsächlicher Geschäftsabläufe.