Angriffe auf unschuldige Nutzende möglich

TU-Forscher finden Schwachstellen bei Client-Side-Scanning und Deep Perceptual Hashing

Doktoranden des „Artificial Intelligence and Machine Learning Lab“ am Fachbereich Informatik der TU Darmstadt haben erhebliche Schwachstellen und Manipulationsmöglichkeiten beim Client-Side-Scanning und Deep Perceptual Hashing identifiziert. Das Verfahren rückte in den Fokus, als Apple 2021 mit „NeuralHash“ einen neuen Ansatz zur Detektion von Bildmaterial im Bereich des Kindesmissbrauchs vorstellte, nach massiver Kritik die Einführung aber zurückzog. Die Forschungsergebnisse der TU-Wissenschaftler belegen nun die Gefahren von Client-Side-Scanning-Methoden für Nutzende.

Es sollte eine Möglichkeit sein, kinderpornografisches Bildmaterial aufzuspüren: Im Sommer vergangenen Jahres hatte der US-amerikanische Technologiekonzern Apple mit „NeuralHash“ einen neuen Weg zur Erkennung von Bildmaterial im Bereich des Kindesmissbrauchs präsentiert. Im Unterschied zu traditionelleren Methoden, welche üblicherweise auf der Serverseite nach hochgeladenem Content mit illegalem Material suchen, wollte Apple einen so genannten Client-Side-Scanning-Ansatz nutzen. Bei diesem werden die Dateien direkt auf den Nutzergeräten analysiert, bevor sie verschlüsselt und in die Cloud hochgeladen werden. So soll die Sicherheit und Privatsphäre der Nutzer geschützt bleiben, da die Ende-zu-Ende-Verschlüsselung nicht gebrochen werden muss.

An dem vorgestellten Ansatz gab es viel öffentliche Kritik. Ohne notwendigen Anfangsverdacht würden Dateien auf allen Nutzergeräten gleichermaßen gescannt, und zudem sei nicht sichergestellt, dass nicht in Zukunft auch nach anderen Inhalten abseits von Kinderpornographie gesucht werde, lauteten die Vorwürfe. „Wir haben uns daraufhin in unserer Forschung NeuralHash als eine reale Anwendung solcher Client-Side-Scanning-Algorithmen genauer angeschaut“, berichten Dominik Hintersdorf und Lukas Struppek, wissenschaftliche Mitarbeiter in der Gruppe von Professor Kristian Kersting am Fachbereich Informatik der TU Darmstadt. Die beiden Doktoranden beschäftigen sich mit Fragen zur Sicherheit und Privatsphäre von Algorithmen des Maschinellen Lernens und dem Einsatz von Künstlicher Intelligenz.

Zusammen mit Daniel Neider vom Max-Planck-Institut, jetzt Professor für Sicherheit und Erklärbarkeit lernender Systeme an der Carl von Ossietzky Universität Oldenburg, konnten Hintersdorf und Struppek diverse grundlegende Schwachstellen identifizieren. Dabei entwickelten und untersuchten sie vier verschiedene Arten von Angriffen auf das System und konnten belegen, dass aktuelle Deep-Perceptual-Hashing-Systeme wie Apples „NeuralHash“ sehr anfällig gegenüber Attacken sind. „Diese ermöglichen es nicht nur, die Detektion des Systems mit leichten Bildänderungen zu überlisten, sondern auch die Manipulation von normalen Bildern, die anschließend vom System fälschlicherweise als kinderpornographisches Material erkannt werden“, so die TU-Forscher.

Diese Erkenntnis zeigt ihrer Ansicht nach die große Gefahr von Client-Side-Scanning auf: Unschuldige Nutzende könnten mit solchen Angriffen vom System geflaggt, identifiziert und im Zweifel sogar verfolgt werden, während das ursprüngliche Ziel der Detektion von illegalem Material nur unzuverlässig erreicht werde. „Der Einsatz solcher Technologien eröffnet die Möglichkeit für Angriffe auf unschuldige Nutzer“, bemängeln Dominik Hintersdorf und Lukas Struppek.

Die Forschungsarbeit der TU-Doktoranden findet Gehör. In Form eines Short Papers wurde ihre Arbeit auf dem diesjährigen Workshop on Technology and Consumer Protection@IEEE Symposium on Security and Privacy präsentiert und dort mit dem Best Paper Award prämiert. Zudem wird die Arbeit in diesen Tagen bei der Konferenz für Fairness, Accountability and Transparency (FAccT, https://facctconference.org/2022/) vorgestellt.

Die publizierte Arbeit findet sich online unter https://dl.acm.org/doi/10.1145/3531146.3533073.

Aktuell plant die Europäische Union einen ähnlichen Ansatz zu verfolgen im Kampf gegen die Verbreitung von Kinderpornographie und diskutiert über die Umsetzung von Chat-Kontrollen auf Endgeräten. Vergleichbare Pläne werden aktuell auch im Vereinigten Königreich erwogen. „Damit erhalten die Ergebnisse unserer Forschung zusätzliche Tragweite und können einen wichtigen Beitrag zur aktuellen öffentlichen Diskussion im Bereich Client-Side-Scanning und Deep Perceptual Hashing liefern“, sind Hintersdorf und Struppek überzeugt. Sie stehen bereits im Austausch mit Vertretern der Gesellschaft für Freiheitsrechte e.V. sowie Ofcom (UK’s telecommunications regulator), um dort ihre Forschungsergebnisse zu diskutieren.