Secure-by-Design für LLMs, GenAI und Agentic AI

Sicherheit dort einbauen, wo Risiken entstehen

Die Absicherung von Generative-AI-Systemen (GenAI), Large Language Models (LLMs) und zunehmend auch von Agentic AI, also KI-Systemen mit autonomen Entscheidungs- und Handlungskomponenten, erfordert eine Neuausrichtung in der IT-Security. Anders als bei klassischen Systemen lassen sich KI-Anwendungen nur schwer im Nachhinein mit Patches, Firewalls oder zusätzlichen Sicherheitsmechanismen absichern. Wenn Angreifer ein Modell manipulieren, ist ein einfaches Austauschen einzelner Module in der Regel nicht ausreichend – oft müssen die Verantwortlichen Systemprompts anpassen, Fine-Tuning-Prozesse neu aufsetzen oder sogar Trainingsdatensätze überarbeiten. In vielen Fällen bleibt nur ein vollständiges Neutraining. Dieser Aufwand ist immens und im laufenden Betrieb oft kaum realisierbar. Deshalb müssen bereits in der ersten Phase der Entwicklung entsprechende Sicherheitsstandards festgelegt werden.

Warum klassische Ansätze nicht ausreichen

In der traditionellen IT-Security gilt das Prinzip: IT-Teams entdecken Schwachstellen, patchen sie und sichern sie mit zusätzlichen Maßnahmen ab. Selbst gravierende Sicherheitslücken lassen sich oft mit überschaubarem Aufwand nachträglich schließen. Bei KI-Systemen funktioniert dieser reaktive Ansatz nicht. Ein kompromittiertes LLM kann unvorhersehbare Antworten generieren oder sensible Daten preisgeben. In GenAI-Anwendungen können darüber hinaus automatisierte Phishing-Kampagnen, Desinformationswellen oder schädliche Inhalte ausgelöst werden. Diese Risiken lassen sich nicht mit einem einfachen Software-Update beheben. Mit Agentic AI verschärft sich das Problem zusätzlich, da Angriffe auf Prompts oder Daten unmittelbar externe Tools oder APIs ansteuern und so reale Aktionen in der IT-Umgebung auslösen können.

Die Ursache liegt tief in der Architektur und den Trainingsdaten der Modelle. Wenn Angreifer etwa durch Data Poisoning manipulierte Informationen in das Training einschleusen, verändern sie ein LLM dauerhaft. Wer diese schädlichen Daten nachträglich entfernen will, muss so viel Aufwand betreiben, dass es praktisch einem Neutraining gleichkommt. Unternehmen, die sich nur reaktiv absichern, geraten damit zwangsläufig in eine Endlosschleife. Sie bekämpfen Symptome statt Ursachen – das ist weder wirtschaftlich noch sicher. Diese Problematik betrifft primär LLMs, deren Trainingsdaten und Modellarchitektur manipulierbar sind. In anderen GenAI-Anwendungsfällen und Agentic-AI-Szenarien spielen dagegen andere Risikofaktoren – etwa Missbrauch von generierten Inhalten oder unkontrollierte Agentenaktionen – eine zentrale Rolle. 

Secure-by-Design als Sicherheitsstrategie für KI

Secure-by-Design fordert, Sicherheit von Anfang an in den Entwicklungsprozess zu integrieren. Dieses Prinzip gilt für jede Technologie – gewinnt im Kontext von KI aber besondere Bedeutung. Entwickler gestalten Architektur, Datenflüsse und Schnittstellen so, dass Angriffsflächen gar nicht erst entstehen. Sie bauen zum Beispiel abgesicherte API-Schnittstellen mit klaren Berechtigungen, prüfen und klassifizieren Datenquellen und überwachen Nutzereingaben laufend.

Im Vergleich zur klassischen IT-Security verändert sich das Angriffsmuster:

• Bei LLMs stehen Prompt Injections, Data Poisoning und Model Leakage im Vordergrund.
• Bei GenAI-Anwendungen betrifft dies zusätzlich multimodale Eingaben (Bilder, Code, Audio) sowie komplexere Ausgabeszenarien.
• Mit Agentic AI kommen neue Dimensionen hinzu: Autonome Agenten, die Ketten von Modellaufrufen mit Zugriff auf externe Tools und APIs bilden. Hier treten Risiken wie Prompt Injection, Data Leakage und „Excessive Agency“ verstärkt auf.

Klassische Abwehrmaßnahmen wie Firewalls oder Intrusion Detection Systeme (IDS) allein reichen hier nicht aus. KI-Systeme erfordern zusätzlich spezifische Sicherheitsmaßnahmen, die direkt am Modell, an den Anwendungen und an den Agentenlogiken ansetzen.

Sicherheitsprozesse erfolgreich verankern

Damit Secure-by-Design in der Praxis wirkt, müssen Unternehmen ihre Entwicklungsprozesse neu ausrichten. Ein strukturierter Sicherheitsansatz ist dafür entscheidend: der Secure Software Development Lifecycle (Secure SDLC). Dieses Konzept integriert Sicherheitsmaßnahmen systematisch in jeden Schritt der Softwareentwicklung – von der Datenbeschaffung über das Modelltraining bis hin zum Deployment. In einem Secure SDLC definieren Verantwortliche feste Kontrollpunkte, sogenannte Security-Gates, und prüfen jede Phase verbindlich, bevor sie fortfahren.

Tests spielen dabei eine zentrale Rolle. Regelmäßige Red-Teaming-Simulationen legen Schwachstellen offen. Dabei übernehmen Sicherheitsexperten die Rolle von Angreifern und testen KI-Modelle unter realen Bedingungen. Mit dem wachsenden Einsatz von LLMs und GenAI entwickeln sich auch die Testmethoden weiter. Neben klassischen Penetrationstests gewinnen spezielle Prüfverfahren an Bedeutung:

• LLM-Penetrationstests („Adversarial Testing“) simulieren Angriffe wie Prompt Injection oder die gezielte Manipulation von Modellausgaben.
• GenAI-Tests berücksichtigen multimodale Szenarien und Output-Manipulationen.
• Agentic-AI-Tests sind zunehmend erforderlich, da autonome Agenten sowohl auf Eingaben reagieren als auch eigenständig Aktionen ausführen. Hier gilt es, auch Toolzugriffe und API-Ketten auf Sicherheitslücken zu überprüfen.

Unternehmen sollten außerdem kontinuierliche Evaluierungen einführen, um sicherzustellen, dass Modelle bei der Einführung sicher und im laufenden Betrieb widerstandsfähig sind. Darüber hinaus ist es wichtig, Schutzmechanismen in der Produktionsumgebung zu verankern – von Monitoring-Systemen, die ungewöhnliche Abfragen oder Aktivitäten autonomer Agenten identifizieren, bis hin zu Logging-Mechanismen, die Angriffe transparent nachvollziehbar machen. Entscheidend ist: Sicherheit muss als fortlaufender Prozess verankert sein.

Agentic AI: Neue Dimensionen der Risiken

Agentic AI erweitert den bisherigen Fokus auf LLMs und GenAI um autonome Entscheidungskomponenten. Agenten orchestrieren Modellaufrufe und steuern externe Tools, APIs und Datenquellen. Damit entstehen neue Angriffsflächen, zum Beispiel:

• Prompt Injection gewinnt an Brisanz, da manipulierte Eingaben direkt in externe Aktionen umgesetzt werden.
• Data Leakage wird verstärkt, weil Agenten Informationen aus verschiedenen Quellen kombinieren und weitergeben.
• Excessive Agency entsteht, weil Agenten unkontrolliert handeln und Befehle ohne ausreichende Kontrollmechanismen ausführen.
• Unbounded Consumption tritt auf, weil autonome Prozesse Ressourcen ungebremst verbrauchen, wenn keine Grenzen gesetzt sind.

Für Secure-by-Design bedeutet das: Agentenarchitekturen brauchen eigene Sicherheits-Gates, Zugriffskontrollen und klare Begrenzungen. Tests und Governance müssen ausdrücklich auch die Logiken und Toolketten von Agenten umfassen. Während LLM-Security primär Trainingsdaten und Modellarchitektur betrifft und GenAI-Security die Vielfalt an In- und Outputs absichert, bringt Agentic AI die Herausforderung hinzu, eigenständig handelnde Systeme zu kontrollieren. Das ist die nächste Evolutionsstufe, die Security-Teams aktiv in ihre Strategien einbeziehen sollten.

Governance und Automatisierung als Sicherheitsfundament

Technische Maßnahmen allein reichen nicht aus, um Secure-by-Design umzusetzen. Ebenso wichtig sind klare organisatorische Strukturen und verbindliche Prozesse. Der Secure SDLC bietet dafür eine geeignete Grundlage: standardisierte Prüfungen von Trainingsdaten, automatisierte Schwachstellenanalysen bei Code-Änderungen und verpflichtende Sicherheitstests vor jedem Rollout. Governance-Strukturen sorgen für klare Verantwortlichkeiten, verbindliche Richtlinien und transparente Dokumentation. Automatisierte Prüfverfahren unterstützen Fachkräfte, reduzieren Aufwand und sichern konsistente, verlässliche Ergebnisse. Sie laufen kontinuierlich im Hintergrund und dienen als Frühwarnsystem. Nur wer technische, prozessuale und organisatorische Maßnahmen verbindet, sorgt dafür, dass KI-Systeme langfristig vertrauenswürdig bleiben.

Prävention statt Reaktion

Die Einführung von LLMs, GenAI und Agentic AI markiert einen Wendepunkt in der IT-Sicherheit. Unternehmen, die ihre Systeme erst nachträglich absichern, stoßen unweigerlich an Grenzen. Secure-by-Design ist deshalb eine notwendige Grundlage, um KI-Anwendungen vertrauenswürdig und zukunftsfähig zu machen. Wer Sicherheit konsequent in Architektur, Datenprozesse, Agentenlogiken und Governance-Strukturen integriert, schafft resiliente Systeme und sichert sich einen entscheidenden Wettbewerbsvorteil. Denn in einem Markt, in dem Vertrauen in die Technologie zunehmend über die Akzeptanz entscheidet, wird nachhaltige Sicherheit zum zentralen Erfolgsfaktor.

Autorenprofi: Okay Güler ist Gründer und CEO von CLOUDYRION. Nachdem er im Banking und Automotive-Bereich Erfahrung als Ethical Hacker sammeln konnte, gründete Güler 2020 CLOUDYRION. Seine Motivation: Unternehmen zu helfen, die neuen Herausforderungen im Cyberspace zu bewältigen und Awareness für Secure-by-Design zu schaffen.

Lesen Sie auch

---

Bild/Quelle: https://depositphotos.com/de/home.html

Folgen Sie uns auf X

Folgen Sie uns auf Bluesky