Angriffsfläche Verwaltung

Wie Behörden ihre KI-Systeme sicher betreiben können

Ein Angriff auf die Wissensbasis eines behördlichen Chatbots verläuft unspektakulär – und bleibt deshalb lange unentdeckt. Ein manipuliertes PDF, eingereicht als Bürgerantrag, enthält versteckte Anweisungen. Das Sprachmodell übernimmt sie bei der Verarbeitung. Der Chatbot nennt fortan falsche Fristen, verweist auf externe Seiten oder liefert systematisch fehlerhafte Auskünfte. Wochen vergehen, bis Mitarbeitende die Abweichungen erkennen. Das System arbeitet technisch korrekt und verbreitet dennoch Fehlinformationen an tausende Bürger.

Dieses Szenario zeigt eine neue Klasse von Sicherheitsrisiken beim Einsatz von KI in der Verwaltung. Klassische Schutzmaßnahmen wie Firewalls, Endpoint Protection oder Netzwerksegmentierung laufen hier ins Leere. Gefragt sind KI-spezifische Kontrollen. Dazu zählen semantische Input-Validierung, die strikte Trennung von System- und Nutzereingaben sowie kontinuierliches Output-Monitoring. Der KI-Betrieb verlangt ein erweitertes Sicherheitsverständnis, das über traditionelle IT-Sicherheit hinausgeht und neue Angriffsebenen systematisch adressiert.

Erweiterte Angriffsflächen durch KI-Architekturen

KI-Systeme in Behörden bestehen aus mehreren Ebenen – von der Erfassung und Aufbereitung von Trainingsdaten über das Training und die Aktualisierung von Modellen bis hin zur Integration der Ergebnisse in bestehende Fachverfahren. Jede dieser Ebenen eröffnet eigene Angriffspunkte innerhalb der IT-Landschaft.

Ein zentrales Risiko ist Model Poisoning. Angreifer manipulieren Trainingsdaten gezielt, um das Modellverhalten dauerhaft zu verändern. Nutzt eine Behörde KI zur Priorisierung von Anträgen, beeinflusst eine solche Manipulation die Entscheidungslogik bereits vor dem produktiven Einsatz. Das Modell liefert anschließend formal korrekte Ergebnisse, benachteiligt jedoch bestimmte Antragstypen systematisch. Der Angriff wirkt langfristig und bleibt im Betrieb schwer erkennbar.

In der Inferenzphase gewinnen Prompt Injection und Data Injection an Bedeutung. Besonders betroffen sind Anwendungen mit Retrieval-Augmented Generation, die auf interne Wissensbestände, Richtlinien oder Fachinformationen zugreifen. Angreifer schleusen manipulierte Dokumente in die Wissensbasis ein und steuern so die Ausgaben. Historisch gewachsene und häufig unübersichtliche IT-Strukturen, Legacy-Systeme und zahlreiche Schnittstellen verstärken diese Risiken.

Komplexe Systeme erfordern kontinuierliche Absicherung

Die elektronische Patientenakte (ePA) zeigt die Sicherheitsherausforderungen komplexer digitaler Infrastrukturen im öffentlichen Sektor. Anfang 2025 demonstrierten Sicherheitsforscher, wie sie unter bestimmten Voraussetzungen unbefugten Zugriff auf sensible Gesundheitsdaten erlangen konnten. Schwachstellen in Schnittstellen und im Identitätsmanagement spielten dabei eine zentrale Rolle.

Behördliche KI-Systeme teilen wesentliche Merkmale mit der ePA. Sie verarbeiten hochsensible Daten, operieren in heterogenen IT-Landschaften und erfordern ein hohes Maß an Vertrauen seitens der Bevölkerung. Gleichzeitig erweitern KI-Anwendungen die Angriffsfläche um Trainingsdaten, Modellparameter und inferenzbasierte Entscheidungslogiken.

Die Erkenntnis ist eindeutig: Komplexe digitale Systeme verlangen kontinuierliche Überprüfung. Regelmäßige Audits, strukturierte Sicherheitsanalysen und transparente Sicherheitsstrategien stärken die Kontrollfähigkeit der Verwaltung und fördern das Vertrauen der Bürger:innen in digitale Verwaltungsleistungen.

Lieferkettensicherheit als kritischer Faktor

Die ePA verdeutlicht einen weiteren sicherheitsrelevanten Aspekt: die Abhängigkeit von externen Komponenten und Dienstleistern. Auch beim KI-Betrieb nutzen Behörden vortrainierte Foundation Models, Cloud-basierte Inferenzdienste, externe Datenquellen und spezialisierte ML-Plattformen. Diese Abhängigkeiten prägen den Alltag.

Jede externe Komponente erweitert die Angriffsfläche. Ein kompromittiertes Basismodell, ein manipulierter Trainingsdatensatz eines Drittanbieters oder eine Schwachstelle in der Hosting-Infrastruktur wirken direkt auf das KI-System. Die Sicherheit der Anwendung hängt von der gesamten Lieferkette ab.

Die NIS2-Richtlinie adressiert dieses Risiko gezielt. Sie verpflichtet Betreiber kritischer Infrastrukturen zur systematischen Bewertung und Absicherung ihrer Lieferketten. Für behördliche KI-Systeme bedeutet das:

• Transparenz über externe Komponenten: Behörden dokumentieren eingesetzte Modelle, Bibliotheken, APIs und Plattformen sowie deren Betreiber und Sicherheitsnachweise.
• Vertraglich verankerte Sicherheitsanforderungen: Dienstleister verpflichten sich zu klaren Regelungen für Patch-Management, Incident Response und Zugriffskontrollen.
• Regelmäßige Lieferketten-Audits: Sicherheitsprüfungen beziehen externe Anbieter und Plattformbetreiber aktiv ein.
• Strategische Exit-Optionen: Für kritische Komponenten bestehen Alternativen, um Abhängigkeiten im Ernstfall aufzulösen.

Architekturprinzipien für resiliente KI-Systeme 

Security by Design muss das Fundament für den sicheren KI-Betrieb in der Verwaltung bilden. Behörden sollten Trainingspipelines, Modellspeicher und Inferenzdienste konsequent in eigene Netzwerksegmente auslagern. Administrative Zugänge müssen strikt von operativen Schnittstellen getrennt bleiben.

Das Least-Privilege-Prinzip muss auf allen Ebenen gelten. Fachverfahren dürfen ausschließlich auf die benötigten KI-Ergebnisse zugreifen. Behörden sollten Modelle als versionierte Artefakte behandeln. Änderungen müssen über definierte Deployment-Pipelines erfolgen und klar dokumentierte Freigaben durchlaufen.

Mehrere Schutzschichten sollten ineinandergreifen: Input-Validierung, Anomalieerkennung, Output-Filterung und Plausibilitätsprüfungen bilden ein gestaffeltes Verteidigungssystem. Behörden sollten alle sicherheitsrelevanten Ereignisse revisionssicher protokollieren, um ihre Dokumentations- und Nachweispflichten zu erfüllen.

Governance-Strukturen für den KI-Betrieb 

Technische Maßnahmen wirken nur mit klarer Governance. Für jedes KI-System sollte eine eindeutige Gesamtverantwortung definiert sein. Fachabteilungen nutzen die Anwendung, zentrale IT-Teams steuern Betrieb und Wartung, Informationssicherheitsbeauftragte überwachen die Schutzmaßnahmen.

Security-Experten sollten Konzeption, Entwicklung und Betrieb von Beginn an begleiten. Modelländerungen müssen dem Vier-Augen-Prinzip folgen. Ergänzend zu klassischen Penetrationstests sollten Behörden KI-spezifische Assessments durchführen, die Angriffsszenarien wie Model Poisoning oder Prompt Injection gezielt simulieren. Für den Ernstfall benötigen Verwaltungen strukturierte Incident-Response-Pläne. Diese regeln Isolation, Austausch und Wiederherstellung von Modellen und legen fest, wer welche Verantwortlichkeit trägt. Ebenso erforderlich sind Melde- und Dokumentationspflichten.

KI-Sicherheit als Grundlage von Kontrolle und Vertrauen 

Der Einsatz von KI verändert die öffentliche Verwaltung grundlegend. In den kommenden Jahren rückt der sichere Betrieb ganzer KI-Landschaften in den Fokus. Behörden müssen Monitoring-Strukturen, automatisierte Sicherheitsprüfungen und eine kontinuierliche Modellpflege etablieren. KI-Anwendungen entwickeln sich zu dauerhaft betriebenen Verwaltungssystemen mit hohem Schutzbedarf.

KI-Sicherheit muss sich zu einer institutionellen Kernkompetenz entwickeln – vergleichbar mit Datenschutz oder Vergaberecht. Klare Verantwortlichkeiten, auditierbare Architekturen und aktiv gesteuerte Lieferketten sind die Voraussetzung, um die digitale Handlungsfähigkeit des Staates zu sichern.

Vertrauen entsteht durch Kontrolle und Transparenz. Bürger erwarten geschützte Daten, nachvollziehbare Prozesse und erklärbare Entscheidungen. Behörden schaffen diese Basis, indem sie Datenflüsse, Modellbetrieb und Zugriffsrechte offenlegen. Auch intern stärkt diese Transparenz die Akzeptanz. Mitarbeitende behalten die Verantwortung und nutzen KI als unterstützendes Werkzeug in klar definierten Abläufen. Nur wenn Sicherheit strategisch in Architektur, Betrieb und Governance verankert ist, können öffentliche Verwaltungen KI dauerhaft einsetzen. 

Autor: Okay Güler ist Gründer und CEO von CLOUDYRION. Nachdem er im Banking und Automotive-Bereich Erfahrung als Ethical Hacker sammeln konnte, gründete Güler 2020 CLOUDYRION. Seine Motivation: Unternehmen zu helfen, die neuen Herausforderungen im Cyberspace zu bewältigen und Awareness für Secure-by-Design zu schaffen.

Weitere Beiträge von CLOUDYRION

---