Manipulierte Sicht: Hacker greifen in die Wahrnehmung von KI ein

Forscher haben eine neue Methode zum Angriff auf Computer-Vision-Systeme mit künstlicher Intelligenz vorgestellt, mit der sie kontrollieren können, was die KI „sieht“. Die Forschung zeigt, dass die neue Technik namens RisingAttacK alle gängigen Computer-Vision-Systeme mit KI effektiv manipulieren kann.

Dabei handelt es sich um sogenannte „adversarial attacks“ (feindliche Angriffe), bei denen jemand die Daten manipuliert, die in ein KI-System eingespeist werden, um zu kontrollieren, was das System in einem Bild sieht oder nicht sieht.

So könnte beispielsweise jemand die Fähigkeit einer KI manipulieren, Verkehrszeichen, Fußgänger oder andere Autos zu erkennen – was zu Problemen für autonome Fahrzeuge führen würde. Oder ein Hacker könnte einen Code auf einem Röntgengerät installieren, der ein KI-System zu falschen Diagnosen veranlasst.

„Wir wollten einen effektiven Weg finden, KI-Bildverarbeitungssysteme zu hacken, da diese Bildverarbeitungssysteme häufig in Bereichen eingesetzt werden, die die Gesundheit und Sicherheit von Menschen beeinträchtigen können – von autonomen Fahrzeugen über Gesundheitstechnologien bis hin zu Sicherheitsanwendungen“, sagt Tianfu Wu, Mitautor einer Veröffentlichung zu dieser Arbeit und Associate Professor für Elektrotechnik und Informationstechnik an der North Carolina State University. „Das bedeutet, dass die Sicherheit dieser KI-Systeme sehr wichtig ist. Die Identifizierung von Schwachstellen ist ein wichtiger Schritt zur Sicherung dieser Systeme, da man eine Schwachstelle identifizieren muss, um sie abwehren zu können.“

RisingAttacK besteht aus einer Reihe von Vorgängen, deren Ziel es ist, mit möglichst wenigen Änderungen an einem Bild das zu erreichen, was die visuelle KI „sieht“.

Zunächst identifiziert RisingAttacK alle visuellen Merkmale im Bild. Das Programm führt auch einen Vorgang durch, um zu ermitteln, welche dieser Merkmale für das Erreichen des Angriffsziels am wichtigsten sind.

„Wenn das Ziel des Angriffs beispielsweise darin besteht, die KI daran zu hindern, ein Auto zu identifizieren, welche Merkmale im Bild sind dann für die KI am wichtigsten, um ein Auto im Bild identifizieren zu können?“, fragt Wu.

Anschließend berechnet RisingAttacK, wie empfindlich das KI-System auf Datenänderungen reagiert und insbesondere, wie empfindlich die KI auf Änderungen der Daten der wichtigsten Merkmale reagiert.

„Dies erfordert zwar eine gewisse Rechenleistung, ermöglicht es uns jedoch, sehr kleine, gezielte Änderungen an den wichtigsten Merkmalen vorzunehmen, die den Angriff erfolgreich machen“, sagt Wu. „Das Endergebnis ist, dass zwei Bilder für das menschliche Auge identisch aussehen und wir in beiden Bildern eindeutig ein Auto erkennen können.

Aufgrund von RisingAttacK würde die KI jedoch im ersten Bild ein Auto erkennen, im zweiten Bild jedoch nicht.

„Und aufgrund der Beschaffenheit von RisingAttacK können wir die Fähigkeit der KI beeinflussen, jedes der 20 oder 30 Ziele zu erkennen, auf deren Identifizierung sie trainiert wurde. Das kann also ein Auto, ein Fußgänger, ein Fahrrad, ein Stoppschild usw. sein.“

Die Forscher testeten RisingAttacK mit den vier am häufigsten verwendeten Bildverarbeitungs-KI-Programmen: ResNet-50, DenseNet-121, ViTB und DEiT-B. Die Technik war bei allen vier Programmen wirksam.

„Wir haben zwar die Fähigkeit von RisingAttacK zur Manipulation von Bildverarbeitungsmodellen nachgewiesen, aber wir sind derzeit dabei, die Wirksamkeit der Technik bei Angriffen auf andere KI-Systeme, wie beispielsweise große Sprachmodelle, zu ermitteln“, sagt Wu.

„In Zukunft wollen wir Techniken entwickeln, mit denen sich solche Angriffe erfolgreich abwehren lassen.“

Der Artikel „Adversarial Perturbations Are Formed by Iteratively Learning Linear Combinations of the Right Singular Vectors of the Adversarial Jacobian“ wird am 15. Juli auf der International Conference of Machine Learning in Vancouver, Kanada, vorgestellt. Mitautor des Artikels ist Thomas Paniagua, der kürzlich seinen Doktortitel an der NC State erworben hat. Mitautor des Artikels ist Chinmay Savadikar, Doktorand an der NC State.

Diese Arbeit wurde mit Unterstützung der National Science Foundation unter den Fördernummern 1909644, 2024688 und 2013451 sowie des Army Research Office unter den Fördernummern W911NF1810295 und W911NF2210010 durchgeführt.

Das Forschungsteam hat RisingAttacK öffentlich zugänglich gemacht, damit die Forschungsgemeinschaft damit neuronale Netzwerke auf Schwachstellen testen kann. Das Programm ist hier zu finden: https://github.com/ivmcl/ordered-topk-attack.