KI-Sicherheit: Vorhersagen und Empfehlungen für 2025

Es ist an der Zeit, die Kristallkugel wieder einmal zu entstauben! Im vergangenen Jahr stand die KI wirklich an vorderster Front der Cybersicherheit, wobei sie von Angreifern, Verteidigern, Entwicklern und der Wissenschaft genauer unter die Lupe genommen wurde. Während verschiedene Formen der generativen KI die massenhafte Einführung der KI vorantreiben, stellen wir fest, dass die Bedrohungen nicht weit dahinter zurückbleiben, wobei LLMs, RAGs, Agentic AI, Integrationen und Plugins ein heißes Thema für Forscher und Schurken gleichermaßen sind.

Mit Blick auf die Zukunft erwarten wir, dass die KI-Sicherheitslandschaft im Jahr 2025 noch anspruchsvolleren Herausforderungen gegenüberstehen wird:

Agenten-KI als Ziel: Durch die Integration von Agenten-KI werden die Grenzen zwischen feindlicher KI und traditionellen Cyberangriffen verwischt, was zu einer neuen Welle gezielter Bedrohungen führen wird. Phishing und Datenlecks über Agentensysteme werden voraussichtlich ein heißes Thema sein.

Vertrauensverlust in digitale Inhalte: Da Deepfake-Technologien immer zugänglicher werden, wird das Vertrauen in digitale Audio-, Video- und Textinhalte nahezu vollständig verloren gehen. Es ist mit Fortschritten bei KI-Wasserzeichen zu rechnen, um solche Angriffe zu bekämpfen.

Adversarial AI: Unternehmen werden adversarial machine learning (ML) in Standardübungen von Red Teams integrieren und proaktiv vor der Bereitstellung auf KI-Schwachstellen testen.

KI-spezifische Reaktion auf Vorfälle: Zum ersten Mal werden formale Richtlinien für die Reaktion auf Vorfälle entwickelt, die auf KI-Systeme zugeschnitten sind und einen strukturierten Ansatz für KI-bezogene Sicherheitsverletzungen bieten. Es ist zu erwarten, dass Leitfäden für KI-Risiken entwickelt werden.

Fortgeschrittene Bedrohungsentwicklung: Betrug, Fehlinformationen und Netzwerkangriffe werden zunehmen, da sich die KI in Bereichen wie Computer Vision (CV), Audio und Natural Language Processing (NLP) weiterentwickelt. Rechnen Sie damit, dass Angreifer KI nutzen, um sowohl die Geschwindigkeit als auch den Umfang von Angriffen zu erhöhen, sowie mit halbautonomen Angriffsmodellen, die bei Penetrationstests und Sicherheitsforschung helfen sollen.

Aufkommen von AIPC (KI-gestützte Cyberangriffe): Da Hardware-Anbieter KI mit Fortschritten bei maßgeschneiderten Chipsätzen und Werkzeugen zur Unterstützung der KI-Technologie nutzen, ist mit einer Zunahme von Angriffen auf KI-fähige Endpunkte zu rechnen, darunter:

• Manipulation lokaler Modelle. Entführung von Modellen, um Vorhersagen zu missbrauchen, Ablehnungen zu umgehen und schädliche Aktionen auszuführen.
• Datenvergiftung.
• Missbrauch von Agentensystemen. Zum Beispiel das Einfügen von Anweisungen in E-Mails und Dokumente, um lokale Modelle auszunutzen.
• Ausnutzung von Schwachstellen in KI-Bibliotheken und -Modellen von Drittanbietern.

Empfehlungen für Sicherheitsfachkräfte

Im Bedrohungsbericht 2024 haben wir mehrere Empfehlungen für Organisationen ausgesprochen, die in ihrem Konzept bestehenden sicherheitsbezogenen Kontrollpraktiken ähneln, aber speziell für KI entwickelt wurden, wie z. B.:

1. Discovery and Asset Management: Identifizierung und Katalogisierung von KI-Systemen und zugehörigen Assets.
2. Risikobewertung und Bedrohungsmodellierung: Bewertung potenzieller Schwachstellen und KI-spezifischer Angriffsvektoren.
3. Datensicherheit und Datenschutz: Gewährleistung eines robusten Schutzes für sensible Datensätze.
4. Modellrobustheit und -validierung: Stärkung von Modellen, um feindlichen Angriffen standzuhalten, und Überprüfung ihrer Integrität.
5. Sichere Entwicklungspraktiken: Einbettung von Sicherheit während des gesamten KI-Entwicklungslebenszyklus.
6. Kontinuierliche Überwachung und Reaktion auf Vorfälle: Einrichtung proaktiver Erkennungs- und Reaktionsmechanismen für KI-bezogene Bedrohungen.

Diese Praktiken sind nach wie vor grundlegend, da sich Organisationen in der sich ständig weiterentwickelnden KI-Bedrohungslandschaft zurechtfinden müssen.

Aufbauend auf diesen Empfehlungen markierte das Jahr 2024 einen Wendepunkt in der KI-Landschaft. Die rasche „Elektrifizierung“ der Industrie durch KI führte dazu, dass fast jeder IT-Anbieter KI-Fähigkeiten integrierte oder erweiterte, während Dienstleistungsanbieter in allen Sektoren – von der Personalabteilung bis hin zu Anwaltskanzleien und Wirtschaftsprüfern – KI in großem Umfang einsetzten, um ihr Angebot zu verbessern und ihre Abläufe zu optimieren. Dies machte 2024 zum Jahr, in dem KI-bezogene Dritt- und Viertparteirisiken akut sichtbar wurden.

Während der diesjährigen Sitzung des Security for AI Council auf der Black Hat wurde das Thema KI-Risiken durch Dritte angesprochen. Alle Mitglieder des Rates räumten ein, dass dies im Allgemeinen ein Problem darstelle, wobei mindestens ein Mitglied darauf hinwies, dass in alle Anbieterverträge eine Klausel „Benachrichtigungspflicht vor der Nutzung/Einbindung von KI in eine Lösung“ aufgenommen wurde. Die Ratsmitglieder, die bereits Anbieter nach deren Nutzung von KI gefragt hatten, gaben an, dass diese Anbieter keine guten Antworten hatten. Sie „wissen es nicht wirklich“, was nicht nur überraschend, sondern auch eine deutliche Enttäuschung ist. Die Gruppe räumte ein, dass traditionelle Sicherheitsanbieter nur geringfügig besser waren als andere, aber insgesamt können die meisten Anbieter keine angemessenen Antworten auf Fragen zu KI-Risiken geben. Der Rat arbeitete dann gemeinsam an der Erstellung eines detaillierten Fragenkatalogs zu KI-Risiken von Drittanbietern. Wir empfehlen Ihnen, diese Schlüsselfragen in Zukunft in Ihre bestehenden Prozesse zur Lieferantenbewertung aufzunehmen.

1. Woher stammt Ihr Modell?
2. Scannen Sie Ihre Modelle auf bösartigen Code? Wie stellen Sie fest, ob das Modell „vergiftet“ ist?
3. Protokollieren und überwachen Sie Modellinteraktionen?
4. Erkennen, melden und reagieren Sie auf die Minderung von Risiken, die in den OWASP LLM Top 10 identifiziert wurden?
5. Wie sieht Ihr Bedrohungsmodell für KI-bezogene Angriffe aus? Sind Ihr Bedrohungsmodell und Ihre Maßnahmen zur Gefahrenabwehr auf den MITRE Atlas abgestimmt?
6. Welche Richtlinien zur Reaktion auf KI-Vorfälle hat Ihre Organisation für den Fall von Sicherheitsvorfällen, die sich auf die Sicherheit, den Datenschutz oder die Sicherheit von Personen oder die Funktion des Modells auswirken?
7. Überprüfen Sie die Integrität der von Ihrem KI-System und/oder -Modell präsentierten Daten?

Denken Sie daran, dass die Sicherheitslandschaft – und die KI-Technologie – dynamisch ist und sich schnell verändert. Es ist wichtig, über neu auftretende Bedrohungen und bewährte Verfahren auf dem Laufenden zu bleiben. Aktualisieren und verfeinern Sie Ihr KI-spezifisches Sicherheitsprogramm regelmäßig, um neuen Herausforderungen und Schwachstellen zu begegnen.

Und noch ein Hinweis zur Vorsicht: In vielen Fällen reichen verantwortungsvolle und ethische KI-Rahmenbedingungen nicht aus, um die Sicherheit von Modellen zu gewährleisten, bevor sie in Produktion gehen und nachdem ein KI-System in Gebrauch ist. Sie konzentrieren sich auf Dinge wie Voreingenommenheit, angemessene Nutzung und Datenschutz. Diese sind zwar ebenfalls erforderlich, sollten aber nicht mit Sicherheitspraktiken verwechselt werden.

Quelle: HiddenLayer

HiddenLayer Webinar: 2025 AI Threat Landscape Report (First Broadcast)