Google dokumentiert zunehmenden Missbrauch von KI-Systemen durch Cyberkriminelle

Die Google Threat Intelligence Group hat im vierten Quartal 2025 eine umfassende Analyse zur missbräuchlichen Nutzung von KI-Systemen durch Angreifer vorgelegt. Der Bericht zeigt, wie staatlich geförderte Hackergruppen und Cyberkriminelle künstliche Intelligenz in ihre Operationen integrieren.

Modelldiebstahl als wachsendes Problem

Google verzeichnet eine deutliche Zunahme von Destillationsangriffen – einer Methode, bei der Angreifer über legitime API-Zugänge versuchen, die Fähigkeiten kommerzieller KI-Modelle zu kopieren. Bei einem dokumentierten Fall stellte das Unternehmen über 100.000 Abfragen fest, die darauf abzielten, die internen Denkprozesse von Gemini zu extrahieren.

Die Angreifer stammen überwiegend aus privaten Unternehmen und Forschungseinrichtungen weltweit. Ihr Ziel: Die Entwicklung eigener Modelle ohne den Aufwand und die Kosten des regulären Trainings. Google hat die entsprechenden Konten deaktiviert und seine Schutzmechanismen angepasst.

Quelle Google Threat Intelligence Group

Staatliche Akteure setzen auf KI-gestützte Aufklärung

Mehrere von Google beobachtete Gruppen nutzen Large Language Models für ihre Operationen:

UNC6418 verwendete Gemini zur Recherche sensibler Kontaktdaten und E-Mail-Adressen. Kurz darauf folgte eine Phishing-Kampagne gegen ukrainische Verteidigungseinrichtungen.

Temp.HEX, eine in China ansässige Gruppe, sammelte über KI-Tools detaillierte Informationen über Personen in Pakistan sowie Daten zu separatistischen Organisationen.

APT42, dem Iran zugeordnet, nutzt Gemini zur Erstellung überzeugender Phishing-Köder. Die Gruppe recherchiert offizielle E-Mail-Adressen von Unternehmen und erstellt auf Basis der Biografien ihrer Ziele maßgeschneiderte Kontaktszenarien. Übersetzungsfunktionen helfen dabei, sprachliche Barrieren zu überwinden.

UNC2970 aus Nordkorea tarnt sich als Personalvermittler und profiliert Mitarbeiter großer Cybersicherheits- und Verteidigungsfirmen. Die Gruppe nutzt KI zur Analyse von Gehaltsinformationen und technischen Stellenprofilen.

Entwicklung von Schadsoftware mit KI-Unterstützung

Die Analyse zeigt, dass Angreifer künstliche Intelligenz zunehmend für technische Aufgaben einsetzen:

APT31 aus China experimentiert mit agentenbasierten KI-Systemen. Die Gruppe beauftragte Gemini mit der Analyse von Sicherheitslücken und der Erstellung von Testplänen für Web Application Firewall Bypasses und SQL-Injection-Angriffe.

UNC795 integrierte Gemini mehrmals wöchentlich in den Entwicklungsprozess. Die Gruppe optimierte Code, entwickelte Intrusion-Tools und arbeitete an einer KI-gestützten Code-Audit-Funktion.

APT41 beschleunigte mit Gemini die Entwicklung von Angriffswerkzeugen. Die Gruppe ließ sich README-Dateien von Open-Source-Tools erklären und nutzte das Modell für Code-Übersetzungen.

Neue Malware-Familien mit KI-Integration

Google identifizierte HONESTCUE, einen Downloader, der die Gemini-API aufruft, um C#-Quellcode zu generieren. Die Malware kompiliert diesen Code direkt im Speicher und hinterlässt keine Spuren auf der Festplatte. Die Technik ähnelt Just-in-Time-Kompilierung und erschwert die Erkennung durch Sicherheitssoftware.

Das Phishing-Kit COINBAIT wurde vermutlich mit KI-Entwicklungsplattformen erstellt. Die Analyse des Codes zeigt typische Merkmale automatisch generierter Anwendungen, darunter ausführliche Entwickler-Kommentare und moderne Framework-Strukturen. Das Kit imitiert große Kryptowährungsbörsen und sammelt Zugangsdaten.

Missbrauch von KI-Chat-Funktionen

Eine neue Angriffsmethode nutzt die öffentlichen Teilen-Funktionen von KI-Diensten. Angreifer erstellen Chat-Verläufe mit scheinbar hilfreichen Anleitungen, die jedoch schädliche Befehle enthalten. Über Werbeanzeigen werden Nutzer zu diesen geteilten Chats geleitet.

Die Opfer kopieren die vermeintlich legitimen Terminal-Befehle und infizieren ihre Systeme mit Malware wie ATOMIC, einem Datendieb für macOS. Google blockiert mittlerweile solche Inhalte und arbeitet mit seinen Werbe- und Safe-Browsing-Teams an präventiven Maßnahmen.

Untergrund-Dienste und gestohlene API-Schlüssel

Der Markt für KI-gestützte Angriffswerkzeuge wächst. Das Toolkit Xanthorox bewirbt sich als maßgeschneiderte KI für Cyberangriffe, basiert jedoch auf kommerziellen Modellen wie Gemini. Die Betreiber nutzen Open-Source-Tools und das Model Context Protocol, um einen agentenbasierten Dienst aufzubauen.

Parallel entwickelt sich ein Schwarzmarkt für gestohlene API-Schlüssel. Angreifer scannen anfällige Open-Source-KI-Plattformen nach Zugangsdaten und verkaufen diese weiter. Google hat die identifizierten Konten deaktiviert.

Gegenmaßnahmen und Schutzkonzepte

Google setzt auf mehreren Ebenen an: Das Unternehmen erkennt und blockiert Destillationsversuche in Echtzeit, deaktiviert Accounts von Angreifern und verbessert kontinuierlich seine Klassifikatoren. Die gewonnenen Erkenntnisse fließen direkt in die Modellentwicklung ein.

Das Secure AI Framework (SAIF) bietet Entwicklern Richtlinien für den sicheren Aufbau von KI-Systemen. Tools wie Big Sleep suchen automatisch nach Sicherheitslücken, während CodeMender experimentell Schwachstellen behebt.

Die Analyse macht deutlich: KI-Systeme sind für Angreifer zu produktiven Werkzeugen geworden, die etablierte Prozesse beschleunigen. Bislang hat Google jedoch keine grundlegend neuen Angriffsmethoden beobachtet, die durch KI erst möglich wurden.

Weiterlesen