Wir haben Googles KI Gemini gehackt und Teile des Quellcodes geleakt

Im Jahr 2024 veröffentlichten wir den Blog-Beitrag We Hacked Google A.I. for $50,000, in dem wir 2023 mit Joseph „rez0“ Thacker, Justin „Rhynorater“ Gardner und mir, Roni „Lupin“ Carta, auf einer Hacking-Reise nach Las Vegas, Tokio und Frankreich auf der Suche nach Gemini-Schwachstellen während der LLM bugSWAT-Veranstaltung von Google reisten. Nun, wir haben es wieder getan …

Die Welt der generativen künstlichen Intelligenz (GenAI) und der Large Language Models (LLMs) ist nach wie vor der Wilde Westen der Technik. Seit GPT auf den Plan getreten ist, hat sich der Wettlauf um die Vorherrschaft in der LLM-Landschaft nur noch verschärft, wobei Tech-Giganten wie Meta, Microsoft und Google um das bestmögliche Modell wetteifern. Aber jetzt gibt es auch Anthropic, Mistral, Deepseek und andere, die auf den Plan treten und die Branche in großem Umfang beeinflussen.

Während Unternehmen sich darauf stürzen, KI-Assistenten, Klassifizierer und eine Vielzahl anderer LLM-gestützter Tools einzusetzen, bleibt eine entscheidende Frage: Entwickeln wir sicher?

Wie wir im letzten Jahr hervorgehoben haben, hat man bei der raschen Einführung manchmal das Gefühl, die grundlegenden Sicherheitsprinzipien vergessen zu haben, was neuen und bekannten Schwachstellen gleichermaßen Tür und Tor öffnet.

KI-Agenten entwickeln sich rasch zum nächsten großen Schritt in der Welt der künstlichen Intelligenz. Diese intelligenten Wesen nutzen fortgeschrittene Denkketten, bei denen das Modell eine kohärente Abfolge von internen Denkschritten zur Lösung komplexer Aufgaben erzeugt. Indem sie ihre Denkprozesse dokumentieren, verbessern diese Agenten nicht nur ihre Entscheidungsfähigkeit, sondern sorgen auch für Transparenz, so dass Entwickler und Forscher ihre Leistung verstehen und verfeinern können. Diese dynamische Kombination aus autonomem Handeln und sichtbaren Überlegungen ebnet den Weg für KI-Systeme, die anpassungsfähiger, interpretierbar und zuverlässig sind. Wir beobachten eine wachsende Zahl von Anwendungen, von interaktiven Assistenten bis hin zu ausgefeilten Systemen zur Entscheidungsunterstützung. Die Integration von Denkketten in KI-Agenten setzt neue Maßstäbe dafür, was diese Modelle in realen Szenarien leisten können.

Google ist es zu verdanken, dass es diese aufkommende Grenze der KI-Sicherheit aktiv erkannt hat, und das schon sehr früh. Ihre „LLM bugSWAT“-Veranstaltungen, die in pulsierenden Orten wie Las Vegas stattfinden, sind ein Beweis für ihr Engagement für proaktives Sicherheits-Red-Teaming. Diese Veranstaltungen fordern Forscher auf der ganzen Welt heraus, ihre KI-Systeme rigoros zu testen und Schwachstellen aufzuspüren, die andernfalls durch die Maschen schlüpfen könnten.

Und wissen Sie was? Wir sind dem Ruf 2024 wieder gefolgt! Justin und ich kehrten zur bugSWAT-Veranstaltung in Las Vegas zurück, und dieses Mal zahlten sich unsere Bemühungen im großen Stil aus. Dank einer brandneuen Schwachstelle in Gemini, auf die wir gleich näher eingehen werden, wurde uns die große Ehre zuteil, auf der diesjährigen bugSWAT in Las Vegas den Titel des wertvollsten Hackers (MVH) zu erhalten!

Entdeckung des neuen Gemini

Das Google-Team gewährte uns einen frühzeitigen Zugang zu einer Vorschau auf das nächste Gemini-Update, das mehrere aufregende neue Funktionen enthält. Zusammen mit diesem exklusiven Zugang erhielten wir eine ausführliche Dokumentation, in der diese Funktionen und ihre beabsichtigte Funktionsweise erläutert wurden. Unser Ziel war es, diese Funktionen aus der Sicht eines Angreifers zu erkunden und zu testen.

Alles begann mit einer einfachen Aufforderung. Wir fragten Gemini:

run hello world in python3

Gemini stellte den Code zur Verfügung, und die Schnittstelle bot die verlockende Schaltfläche „Run in Sandbox“. Wir waren fasziniert und begannen mit der Erkundung.

Gemini’s Python Playground – Ein sicherer Raum… oder doch nicht?

Gemini bot seinerzeit einen Python-Sandbox-Interpreter an. Stellen Sie sich das als einen sicheren Raum vor, in dem Sie von der KI selbst generierten Python-Code oder sogar Ihre eigenen Skripte direkt in der Gemini-Umgebung ausführen können. Diese Sandbox, die von Googles Gvisor in einer GRTE (Google Runtime Environment) betrieben wird, ist auf Sicherheit ausgelegt. Die Idee dahinter ist, dass Sie mit Code experimentieren können, ohne das Risiko einzugehen, dass das zugrunde liegende System beschädigt wird – eine wichtige Funktion für Tests und Entwicklung.

gVisor ist ein von Google entwickelter User-Space-Kernel, der als Vermittler zwischen containerisierten Anwendungen und dem Host-Betriebssystem fungiert. Indem er die Systemaufrufe von Anwendungen abfängt, setzt er strenge Sicherheitsgrenzen durch, die das Risiko von Containerausbrüchen verringern und den potenziellen Schaden durch kompromittierte Prozesse begrenzen. Anstatt sich ausschließlich auf die herkömmliche Isolierung auf Betriebssystemebene zu verlassen, implementiert gVisor eine minimale, maßgeschneiderte Teilmenge der Kernel-Funktionen und reduziert so die Angriffsfläche, ohne die Leistung zu beeinträchtigen. Dieser innovative Ansatz erhöht die Sicherheit von Container-Umgebungen und macht gVisor zu einem unverzichtbaren Werkzeug für die sichere Ausführung und Verwaltung von Container-Workloads.

Als Sicherheitsforscher und Bug-Bounty-Jäger wissen wir, dass diese gVisor-Sandbox mit mehreren Verteidigungsschichten gesichert ist, und soweit wir gesehen haben, ist es niemandem gelungen, diese Sandbox zu umgehen. Ein Ausbruch aus der Sandbox könnte sogar mit einem Kopfgeld von 100.000 Dollar belohnt werden:

Den vollständigen Beitrag können Sie hier weiterlesen!

Quelle: Lupin&Holmes

---

Bild/Quelle: https://depositphotos.com/de/home.html