OpenAI übernimmt KI-Sicherheitsanbieter Promptfoo

OpenAI integriert die Sicherheitsplattform Promptfoo in sein Produktportfolio. Das Tool hilft Entwicklern und Unternehmen, Schwachstellen in KI-Systemen frühzeitig zu erkennen und zu beheben. Nach Abschluss der Transaktion – die noch unter dem Vorbehalt üblicher Bedingungen steht – soll die Promptfoo-Technologie in OpenAIs Frontier-Plattform eingebettet werden, über die Unternehmen sogenannte KI-Mitarbeiter aufbauen und betreiben.

Warum Sicherheit beim Agenteneinsatz an Bedeutung gewinnt

Mit dem wachsenden Einsatz von KI-Agenten in produktiven Unternehmensumgebungen steigen die Anforderungen an strukturierte Qualitäts- und Sicherheitsprozesse. Unternehmen benötigen laut OpenAI systematische Methoden, um:

• das Verhalten von Agenten reproduzierbar zu testen,
• Risiken vor der Produktivsetzung zu identifizieren,
• Änderungen nachvollziehbar zu dokumentieren und
• Governance- sowie Compliance-Anforderungen dauerhaft zu erfüllen.

Das Unternehmen hinter der Übernahme

Promptfoo wurde von Ian Webster und Michael D’Angelo gegründet. Das Team entwickelt eine Open-Source-Kommandozeilenanwendung sowie eine Bibliothek zur Bewertung und Sicherheitsprüfung von Large-Language-Model-Anwendungen. Mehr als 25 Prozent der Fortune-500-Unternehmen setzen die Plattform nach eigenen Angaben bereits ein.

Geplante Funktionen innerhalb von Frontier

OpenAI will auf Basis der Promptfoo-Technologie drei Kernbereiche ausbauen:

• Integrierte Sicherheits- und Schutzprüfungen: Automatisierte Tests und Red-Teaming-Funktionen sollen direkt in die Frontier-Plattform eingebettet werden. Damit lassen sich Risiken wie Prompt-Injektionen, Jailbreak-Versuche, Datenlecks, Werkzeugmissbrauch und richtlinienwidriges Agentenverhalten systematisch aufdecken.
• Sicherheit in Entwicklungsworkflows: Sicherheits- und Bewertungsprozesse sollen eng mit bestehenden Entwicklungsabläufen verzahnt werden, sodass Agentenrisiken früh im Entwicklungsprozess adressiert werden können.
• Aufsicht und Nachvollziehbarkeit: Integrierte Berichts- und Rückverfolgungsfunktionen sollen es Unternehmen erleichtern, Tests zu dokumentieren, Verhaltensänderungen über die Zeit zu überwachen und regulatorischen Anforderungen zu entsprechen.

Srinivas Narayanan, CTO für B2B-Anwendungen bei OpenAI, betonte, dass Promptfoo technisches Know-how im Unternehmensmaßstab mitbringe, das den Einsatz zuverlässiger KI-Anwendungen absichere. Ian Webster erklärte, der Beitritt zu OpenAI ermögliche es dem Team, die Arbeit an Sicherheits- und Governance-Funktionen für reale KI-Systeme zu beschleunigen.

Das Open-Source-Projekt soll trotz der Übernahme weiterentwickelt werden.

---

Bild/Quelle: https://depositphotos.com/de/home.html

Folgen Sie uns auf X

Folgen Sie uns auf Bluesky

Folgen Sie uns auf Mastodon

Hamsterrad Rebell – Cyber Talk