Lenovos KI-Chatbot Lena zeigt: Sicherheitsrisiken bei künstlicher Intelligenz nehmen zu

Der Vorfall um Lenovos KI-Assistentin Lena offenbart mehr als einen simplen Programmfehler – er ist ein Warnsignal für die Zukunft der KI-Sicherheit. Experten warnen, dass der nächste große Cyberangriff möglicherweise nicht über E-Mail-Anhänge erfolgt, sondern über „hilfreiche“ KI-Tools, die in Support-Chats aktiv sind.

Eine kritische Sicherheitslücke in Lenovos KI-Chatbot erlaubt es Angreifern, schädlichen Code auszuführen und Browser-Cookies zu stehlen. Der Fall zeigt deutlich, wie wichtig es ist, die Sicherheit von KI-Systemen schon im Vorfeld konsequent zu prüfen, bevor sie in Unternehmen und bei Nutzern eingesetzt werden.

Als Sicherheitsforscher von Cybernews den Chatbot „Lena” von Lenovo dazu brachten, Session-Cookies preiszugeben und bereitwillig bösartigen Code auszuführen, deckten sie ein Problem auf, das zum entscheidenden Sicherheitsproblem des KI-Zeitalters werden könnte: Maschinen, die Daten nicht nur falsch verarbeiten, sondern ihre eigenen Ausgaben auf Befehl eines Angreifers aktiv als Waffe einsetzen.

Die Schlagzeilen mögen dies als „XSS kehrt aus der Versenkung zurück” bezeichnen. Dabei wird jedoch das größere Problem übersehen: KI hat nicht nur schlummernde Schwachstellen wiederbelebt, sondern eine ganze Klasse von Bedrohungen, von denen wir dachten, dass sie der Branche längst nicht mehr zu schaffen machen.

Lena ist kein einfaches Revival des Cross-Site-Scripting aus der Mitte der 2000er Jahre, sondern steht beispielhaft für ein neues Paradigma: KI-generierte Angriffsvektoren, die nicht durch die Brillanz des Angreifers, sondern durch die unkritische Compliance des Modells ausgeführt werden.

KI schafft „selbstbewaffnende Inhalte”

Traditionell schreibt ein Angreifer bösartigen Code und schleust ihn in ein anfälliges System ein. In diesem Fall war der Chatbot der Autor der bösartigen Nutzlast. Er erstellte den Code unter dem Deckmantel, dem Benutzer zu dienen.

Das ist eine subtile, aber dramatische Veränderung. Angreifer müssen ihre Exploits nicht mehr in obskuren Datenfeldern oder hochgeladenen Skripten verstecken. Sie können einfach ein KI-System bitten, den Exploit für sie zu erstellen. Das LLM ist nun ein Komplize bei seiner eigenen Kompromittierung.

Dies ist die Geburtsstunde dessen, was ich als selbstbewaffnende Inhalte bezeichnen würde: Daten, die von KI generiert werden und gleichzeitig als ihr eigener Angriffsvektor dienen, nicht weil die KI „böse“ ist, sondern weil sie kein Sicherheitsbewusstsein hat.

Dieses Phänomen könnte über Chatbots hinausgehen – denken Sie an KI-Agenten, die E-Mails mit versteckten Schadcodes schreiben, oder an KI-generierte Dokumente mit eingebetteten Skripten, die an ahnungslose Unternehmensnutzer weitergeleitet werden.

Wir erleben die Rückkehr des Wurms (mit KI als Träger)

Die Angriffskette von Lena ähnelte den Computerwürmern der frühen 2000er Jahre, bei denen sich bösartiger Code ohne menschliches Zutun mit Netzwerkgeschwindigkeit von einem Rechner zum nächsten verbreitete.

Hier ist die Parallele:

• Lena generierte HTML + Payloads.
• Diese Ausgabe kompromittierte den Browser des Benutzers und blieb im Gesprächsverlauf erhalten.
• Als ein menschlicher Support-Mitarbeiter ihn wieder öffnete, wurde der bösartige Code erneut ausgeführt und stahl die Sitzungscookies.

Mit anderen Worten: Die KI verhielt sich wie der erste infizierte Host des Wurms. Durch höfliche Beantwortung von Fragen platzierte sie auch bösartige Anweisungen, die sich innerhalb der Systeme von Lenovo verbreiten konnten.

Morgen könnten KI-gestützte Helpdesks in allen Branchen unwissentlich als Startrampe für eine wurmartige Verbreitung innerhalb von Unternehmen dienen. Der nächste große Wurm wird möglicherweise nicht über E-Mail-Anhänge verbreitet, sondern von einem „hilfreichen“ KI-Tool in einem Support-Chat mitverfasst.

Regulatorische und rechtliche Nachbeben stehen bevor

Lenovo, ein weltweit tätiges Unternehmen, hat ein unsicheres KI-Tool für Kunden ausgeliefert, das Angreifer nutzen könnten, um tiefer in die Unternehmenssysteme einzudringen.

Regulierungsbehörden in der EU und Asien (wo Lenovo stark vertreten ist) nehmen KI-Implementierungen bereits ins Visier und planen neue Gesetze zur Haftung für KI.

Vorfälle wie der Fehler von Lena sollten für Gesetzgeber, die argumentieren, dass KI-Schwachstellen nicht nur technische Mängel, sondern auch rechtliche Risiken darstellen, ein Paradebeispiel sein.

Man stelle sich die Klagen vor: „Unsere Daten wurden nicht aufgrund eines Fehlers offengelegt, sondern weil Ihre KI aktiv bösartige Anweisungen generiert und ausgeführt hat.“

Damit wird KI in Unternehmen von einer „Compliance-Frage der Zukunft” zu einer Haftungssache für den Vorstand in der Gegenwart.

Es ist zu erwarten, dass die Versicherungsprämien für Unternehmen, die generative KI einsetzen, steigen werden, dass rechtliche Haftungsausschlüsse zu heiß diskutierten Vertragsklauseln werden und dass Aufsichtsbehörden strengere Zertifizierungen für „Sicherheit durch Design“ bei KI vorschreiben werden, ähnlich wie die Automobilindustrie nach Jahrzehnten vermeidbarer Unfälle mit Crashtest-Standards konfrontiert wurde.

Es geht um die Naivität der Unternehmen

Der Fehler von Lenovo ist nicht deshalb interessant, weil die Angreifer so genial waren. Er ist interessant, weil er vorhersehbar war. Es ergibt sich aus der grundlegenden Eigenschaft von LLMs: Sie tun, was man ihnen sagt. Das ist kein Fehler. Das ist ihr Zweck.

Dennoch führen viele Unternehmen Chatbots ein, als wären sie statische Websites, und vergessen dabei, dass LLMs unendlich vielfältige Ergebnisse generieren, die ungeprüft in Browser, Protokolle und sogar Backend-Systeme gelangen. Diese Diskrepanz zwischen dem Verhalten dieser Systeme und dem Umgang der Unternehmen mit ihnen wird das Sicherheitsthema des Jahrzehnts sein.

So wie SQL-Injection der Webentwickler-Community in den 2000er Jahren eine harte Lektion erteilt hat, werden Prompt-Injection und KI-gestützte XSS Mitte der 2020er Jahre die Sicherheitsschulungen in Unternehmen prägen.

Was kommt als Nächstes

Die Schwachstelle von Lena wurde behoben, aber das Muster wird sich fortsetzen. Heute sind es Cookies für Kundensupport-Sitzungen.

Morgen könnten es KI-generierte SQL-Abfragen sein, die gegen Live-Datenbanken ausgeführt werden, LLM-gestützte Dokumentationswerkzeuge, die bösartige Shell-Befehle in DevOps-Pipelines einschleusen, oder KI-Code-Assistenten, die vergiftete Abhängigkeiten in Lieferketten einschleusen.

Die KI-Revolution wird die Geister älterer Schwachstellen mit sich bringen, jedoch verstärkt, automatisiert und beschleunigt.

Die wichtigste Lektion für Unternehmen ist, dass sie KI-Ergebnisse nicht mehr als Informationen behandeln sollten. Beginnen Sie, sie als Code zu behandeln. Denn sobald Chatbots in HTML, JSON oder JavaScript schreiben können, ist jede Interaktion ein potenzieller Angriffspunkt. Lenas Eifer, es allen recht zu machen, war eine Warnung vor dem, was noch kommen wird.

ÜBER DIE AUTORIN

Jurgita Lapienytė ist Chefredakteurin bei Cybernews, wo sie ein Team von Journalisten und Sicherheitsexperten leitet, das sich der Aufdeckung von Cyberbedrohungen durch Forschung, Tests und datengestützte Berichterstattung widmet. In ihrer über 15-jährigen Karriere hat sie über wichtige globale Ereignisse berichtet, darunter die Finanzkrise 2008 und die Terroranschläge von Paris 2015, und durch investigativen Journalismus für mehr Transparenz gesorgt. Als leidenschaftliche Verfechterin des Bewusstseins für Cybersicherheit und von Frauen in der Tech-Branche hat Jurgita führende Persönlichkeiten aus dem Bereich Cybersicherheit interviewt und gibt unterrepräsentierten Stimmen in der Branche eine Plattform.

Entdecken Sie mehr

---

Bild/Quelle: https://depositphotos.com/de/home.html

Folgen Sie uns auf X

Folgen Sie uns auf Bluesky