OpenAI will die Sicherheit seiner KI-Tools stärken und übernimmt dafür das KI-Sicherheits-Startup Promptfoo, ein Unternehmen, das dafür bekannt ist, Firmen beim Testen und Absichern von Systemen der künstlichen Intelligenz zu unterstützen, bevor diese live gehen.
Die am Montag bekannt gegebene Übernahme wird die Technologie von Promptfoo in OpenAIs Enterprise-Plattform OpenAI Frontier integrieren. OpenAI erklärte, dass Unternehmen, die KI-Agenten einsetzen, zuverlässige Möglichkeiten benötigen, deren Verhalten zu bewerten und potenzielle Risiken vor der Bereitstellung zu erkennen.
Das Unternehmen plant, die Funktionen von Promptfoo in Frontier zu integrieren, damit Organisationen automatisch auf Schwachstellen wie Prompt-Injections testen können, auf Jailbreak-Versuche, Datenlecks und den Missbrauch verbundener Tools.
„Promptfoo verfügt über umfassende technische Expertise bei der Bewertung, Absicherung und dem Testen von KI-Systemen im Enterprise-Maßstab“, erklärte Srinivas Narayanan, CTO of B2B Applications bei OpenAI, in einer Mitteilung. „Die Arbeit des Unternehmens hilft Firmen dabei, sichere und zuverlässige KI-Anwendungen bereitzustellen, und wir freuen uns, diese Funktionen direkt in Frontier zu integrieren.“
Laut OpenAI wird die Plattform außerdem leistungsfähigere Kontrollfunktionen bieten, mit denen Unternehmen Testaktivitäten nachverfolgen, Veränderungen im Zeitverlauf überwachen und Aufzeichnungen führen können, um Compliance- und Governance-Anforderungen zu erfüllen.
Die Tools von Promptfoo werden bereits von großen Unternehmen eingesetzt
Promptfoo wurde erst vor zwei Jahren gegründet und hat eine Reihe von Sicherheits- und Evaluierungstools entwickelt, mit denen Entwickler KI-Anwendungen testen und Schwachstellen erkennen können, bevor diese in Produktionssysteme gelangen.
Das in San Francisco ansässige Startup entwickelte außerdem ein vielfach eingesetztes Open-Source-Kommandozeilentool, mit dem Entwickler die Leistung großer Sprachmodelle vergleichen und testen können.
OpenAI erklärte, dass das von Mitgründer und CEO Ian Webster sowie Mitgründer Michael D’Angelo geleitete Promptfoo-Team das Open-Source-Projekt weiterhin unterstützen und zugleich an in Frontier integrierten Enterprise-Funktionen arbeiten werde.
Die Technologie von Promptfoo wird bereits von zahlreichen Großunternehmen eingesetzt. Laut OpenAI vertrauen mehr als 25 % der Fortune-500-Unternehmen auf die Tools des Unternehmens.
Die Führung von Promptfoo erklärte, der Beitritt zu OpenAI werde es dem Startup ermöglichen, seine Mission zu skalieren und Entwicklern dabei zu helfen, KI-Systeme abzusichern, die zunehmend mit Daten und Tools aus der realen Welt interagieren.
„Wir haben Promptfoo gegründet, weil Entwickler eine praktikable Möglichkeit benötigten, KI-Systeme abzusichern. Da KI-Agenten zunehmend mit realen Daten und Systemen verbunden sind, ist ihre Absicherung und Validierung anspruchsvoller und wichtiger denn je“, erklärte Ian Webster, Co-founder and CEO bei Promptfoo, in der Mitteilung. „Der Beitritt zu OpenAI ermöglicht es uns, diese Arbeit zu beschleunigen und den Teams, die KI-Systeme für die reale Welt entwickeln, leistungsfähigere Funktionen für Sicherheit, Schutz und Governance bereitzustellen.“
Die Übernahme von Promptfoo fügt sich in ein größeres Muster ein, bei dem OpenAI mithilfe von Übernahmen Produktlücken schnell schließt. Anfang dieses Jahres übernahm das Unternehmen das Gesundheitstechnologie-Startup Torch für rund 100 Millionen US-Dollar in Form von Eigenkapital. Zuvor übernahm es Software Applications, den Entwickler einer Mac-basierten KI-Oberfläche namens Sky, und stellte vor Kurzem Peter Steinberger ein, den Entwickler eines beliebten Tools für Entwickler zum Erstellen von KI-Agenten.
Lesen Sie auch: Agentische KI verändert Unternehmenssoftware bereits grundlegend, während Plattformen darum wetteifern, autonome Tools in Programmierung, Suche und Geschäftsabläufe einzubetten.