Meta: Neue Open-Source-Schutztools und Fortschritte im Bereich KI-Datenschutz und -Sicherheit

30. April 2025

Meta stellt LlamaFirewall vor: Neues Open-Source-Framework soll KI-Systeme vor Cyberangriffen schützen

Meta hat am Dienstag die Einführung von LlamaFirewall angekündigt – einem neuen Open-Source-Framework, das Künstliche-Intelligenz-Systeme vor wachsenden Cyberbedrohungen wie Prompt-Injection, Jailbreaks und unsicherem Code absichern soll.

Nach Angaben des Unternehmens umfasst das Sicherheitskonzept drei zentrale Schutzmechanismen: PromptGuard 2, Agent Alignment Checks und CodeShield.

PromptGuard 2 ist darauf ausgelegt, Angriffsversuche wie Jailbreaks oder manipulierte Eingabeaufforderungen in Echtzeit zu erkennen. Die Agent Alignment Checks wiederum analysieren die Argumentationsweise von KI-Agenten und spüren potenzielle Zielabweichungen oder versteckte Manipulationsversuche auf. Der dritte Baustein, CodeShield, soll vor der Ausführung unsicheren Codes schützen.

Meta erweitert KI-Schutz: LlamaFirewall bietet modulare Sicherheitsarchitektur für LLM-Anwendungen

Mit CodeShield bringt Meta eine neue Online-Engine für statische Codeanalyse an den Start. Sie ist Teil des kürzlich vorgestellten Sicherheitsframeworks LlamaFirewall und soll verhindern, dass KI-Agenten unsicheren oder potenziell gefährlichen Code generieren.

„LlamaFirewall wurde als flexibles Echtzeit-Sicherheitsframework für Anwendungen auf Basis großer Sprachmodelle (LLMs) entwickelt“, heißt es in der Projektbeschreibung auf GitHub. Die modulare Architektur ermögliche es Sicherheitsteams und Entwicklern, mehrschichtige Verteidigungsstrategien zu implementieren – von der Erfassung von Rohdaten bis hin zur Absicherung der finalen KI-Ausgabe. Dies soll für ein breites Spektrum an Anwendungen funktionieren, angefangen bei einfachen Chatbots bis hin zu komplexen, autonomen KI-Agenten.

Zusätzlich zu LlamaFirewall hat Meta überarbeitete Versionen seiner Tools LlamaGuard und CyberSecEval veröffentlicht. Sie sollen die Erkennung von problematischen Inhalten verbessern und die Sicherheitsleistung von KI-Systemen umfassender bewerten.

Unterstützung der Verteidiger-Community bei der Nutzung von KI in Sicherheitsvorgängen

(bei Meta nachzulesen)

Bei Meta setzen wir KI ein, um unsere Sicherheitssysteme zu stärken und uns vor potenziellen Cyberangriffen zu schützen. Wir haben von der Community gehört, dass sie Zugang zu KI-fähigen Tools wünscht, die ihr dabei helfen, dasselbe zu tun. Aus diesem Grund veröffentlichen wir Updates, die Unternehmen dabei helfen sollen, die Wirksamkeit von KI-Systemen in Sicherheitsvorgängen zu bewerten, und kündigen das Llama Defenders Program für ausgewählte Partner an. Wir glauben, dass dies ein wichtiger Schritt ist, um die Robustheit von Softwaresystemen zu verbessern, da immer leistungsfähigere KI-Modelle verfügbar werden.

• CyberSec Eval 4: Unsere aktualisierte Open-Source-Benchmark-Suite für Cybersicherheit, CyberSecEval 4, enthält neue Tools – CyberSOC Eval und AutoPatchBench – zur Bewertung der Abwehrfähigkeiten von KI-Systemen.
  • CyberSOC Eval: Dieses gemeinsam mit CrowdStrike entwickelte Framework misst die Wirksamkeit von KI-Systemen in Sicherheitsoperationszentren. Wir geben heute diesen Benchmark bekannt und werden ihn in Kürze veröffentlichen.
  • AutoPatchBench: Ein neuer Benchmark, der die Fähigkeit von Llama und anderen KI-Systemen bewertet, Sicherheitslücken im nativen Code automatisch zu patchen, bevor sie ausgenutzt werden können. Weitere Informationen finden Sie im Engineering at Meta Blog.
• Llama Defenders Program: Wir starten das Llama Defenders Program, um Partnerorganisationen und Entwicklern Zugang zu einer Vielzahl von offenen, frühzeitig verfügbaren und geschlossenen KI-Lösungen zu ermöglichen, mit denen sie unterschiedliche Sicherheitsanforderungen erfüllen können.
  • Automatisiertes Tool zur Klassifizierung sensibler Dokumente: Dieses Tool wird intern bei Meta verwendet und versieht interne Dokumente eines Unternehmens automatisch mit Sicherheitsklassifizierungslabels, um unbefugten Zugriff und unbefugte Weitergabe zu verhindern oder sensible Dokumente aus der RAG-Implementierung eines KI-Systems herauszufiltern. Weitere Informationen finden Sie auf GitHub.
  • Llama Generated Audio Detector & Llama Audio Watermark Detector: Diese Tools wurden entwickelt, um KI-generierte Inhalte zu erkennen, und helfen Unternehmen dabei, KI-generierte Bedrohungen wie Betrug, Fälschungen und Phishing-Versuche zu erkennen. Bei der Einführung arbeiten wir mit ZenDesk, Bell Canada und AT&T zusammen, um diese Tools in ihre Systeme zu integrieren. Wenn Sie mehr erfahren möchten, können andere Unternehmen Informationen auf der Website des Llama Defenders-Programms anfordern.

Redaktion AllAboutSecurity 30.04.2025

Bild/Quelle: https://depositphotos.com/de/home.html