KI-generierter Code: Armis Labs deckt versteckte Sicherheitsrisiken auf

Der zunehmende Einsatz von KI-gestützten Tools in der Softwareentwicklung verspricht schnelleres Programmieren, weniger Routineaufgaben und eine gesteigerte Produktivität. Eine aktuelle Analyse von Armis Labs zeigt jedoch, welche Sicherheitsrisiken entstehen, wenn sich Entwickler zu stark auf KI-generierten Code verlassen – insbesondere dann, wenn manuelle Prüfungen entfallen und automatisierte Vorschläge ungeprüft übernommen werden.

Ein interessantes Beispiel aus dem jüngsten Bericht ist DeepSeek Coder, ein KI-basierter Codeassistent, der Entwicklungsprozesse beschleunigen soll. In einem simulierten Szenario nutzte ein Entwicklerteam DeepSeek, um Code und externe Bibliotheken automatisch auszuwählen – mit Fokus auf Geschwindigkeit statt Sorgfalt. Das Ergebnis: schwerwiegende Sicherheitslücken. Die KI empfahl Drittanbieter-Bibliotheken mit bekannten, ausnutzbaren Schwachstellen und erzeugte Quellcode mit zahlreichen gängigen Sicherheitsfehlern. Insgesamt wies die resultierende Anwendung 18 verschiedene Probleme aus der CWE-Top-25-Liste der kritischsten Software-Schwachstellen auf.

Dazu gehörten veraltete PDF- und Logging-Bibliotheken mit Anfälligkeit für die Ausführung beliebigen Codes (CWE-94), unsichere Deserialisierung (CWE-502) und fehlerhafte kryptografische Implementierungen (CWE-321). Noch besorgniserregender waren Schwachstellen direkt im generierten Code, darunter Cross-Site-Scripting (CWE-79), SQL-Injection (CWE-89), Buffer Overflows (CWE-119) sowie unzureichende Authentifizierung und Zugriffskontrolle (CWE-287, CWE-306). All diese Sicherheitsprobleme sind bekannt und potenziell gravierend – doch die KI erkannte oder verhinderte sie nicht.

Zentrale Erkenntnis: KI-gestützte Code-Assistenten sind nur so verlässlich wie ihre Trainingsdaten und ihr Design. Sie können unbewusst unsichere Bibliotheken empfehlen oder schlechte Programmierpraktiken aus öffentlich zugänglichem Code übernehmen. Ohne manuelle Prüfungen oder automatisierte Sicherheitsscans verbreiten sich diese Schwachstellen schnell über ganze Projekte – und erhöhen das Risiko, statt es zu senken.

Die Forscher empfehlen daher, Sicherheitsprüfungen fest in den Entwicklungsprozess zu integrieren. Dazu zählen verpflichtende Code-Reviews, insbesondere für KI-generierte Vorschläge, sowie automatisierte Scans, um riskante Abhängigkeiten oder unsichere Muster zu erkennen. Entwickler sollten zudem geschult werden, KI-Ergebnisse kritisch zu hinterfragen, statt sie als automatisch korrekt anzusehen. Ebenso sollten KI-Tools ausschließlich auf sicheren, aktuellen Quellen basieren, um bekannte Fehler nicht zu reproduzieren.

Wie KI die Sicherheitsrisiken in der Software-Lieferkette verschärft

Für Softwareteams in Deutschland – vor allem in kritischen Sektoren wie Industrie, Gesundheitswesen oder Finanzwesen – sind diese Erkenntnisse besonders relevant. Mit der zunehmenden Verbreitung von KI steigt auch das Risiko, unsichtbare Schwachstellen in kritische Infrastrukturen einzuschleusen. Der Komfort KI-generierten Codes darf nicht auf Kosten grundlegender Sicherheitsstandards gehen.

Künstliche Intelligenz wird zweifellos zu den prägenden Kräften der künftigen Softwareentwicklung gehören. Die Ergebnisse des Berichts machen jedoch deutlich: Produktivitätsgewinne erfordern zugleich erhöhte Wachsamkeit. Automatisierung allein ersetzt keine Sicherheitsstrategie – und ohne belastbare Schutzmechanismen können Werkzeuge, die Entwicklern die Arbeit erleichtern, ebenso schnell zu einem erheblichen Risiko werden.

Michael Freeman, Head of Threat Intelligence bei Armis

Unsere Leseempfehlungen