Cloudflare enthüllt ein komplexes KI-System zur Abwehr automatisierter Angriffe

Cloudflare hat AI Labyrinth präsentiert – eine wegweisende Plattform zur Abwehr von KI-gesteuerten Bots, die automatisiert und ohne Genehmigung Webinhalte durchsuchen und extrahieren. Durch den Einsatz KI-generierter Inhalte täuscht AI Labyrinth diese Bots gezielt, verlangsamt sie und lenkt sie ab. Dadurch werden legitime Websites besser geschützt, während gleichzeitig die Erkennung und Abwehr solcher Bots optimiert wird.

AI Labyrinth ist ein innovativer Schutzmechanismus, der automatisch eine KI-generierte Kette verlinkter Webseiten erstellt, sobald unerlaubte Crawling-Aktivitäten erkannt werden. Ohne dass Benutzer eigene Regeln definieren müssen, steht dieses System allen Cloudflare-Kunden zur Verfügung – auch denen mit dem kostenlosen Plan. Durch das gezielte Umlenken von Bots auf diese KI-generierten Seiten werden wertvolle Website-Daten geschützt, da die Bots weniger effektiv Informationen für das Training von KI-Modellen extrahieren können.

Generative KI ist mittlerweile weit verbreitet – Schätzungen zufolge sind bereits 47 % der Inhalte auf Medium KI-generiert. Trotz der zahlreichen Vorteile dieser Technologie erleichtert sie auch missbräuchliches Data Scraping. Cloudflare nutzt diesen Trend strategisch, indem es KI-generierte Inhalte als Schutzmechanismus gegen unerwünschtes Crawling einsetzt.

Wenn nicht autorisierte Crawler erkannt werden, leitet das System sie zu täuschend echten, aber inhaltlich irrelevanten KI-generierten Texten um. Diese wirken glaubwürdig genug, um Bots zu täuschen, bieten jedoch keinen tatsächlichen Mehrwert, sodass deren Ressourcen unnötig verbraucht werden.

Auszüge aus dem Cloudflare-Blog

Wie wir das Labyrinth aufgebaut haben

Wenn KI-Crawler diesen Links folgen, verschwenden sie wertvolle Rechenressourcen mit der Verarbeitung irrelevanter Inhalte, anstatt Ihre legitimen Website-Daten zu extrahieren. Dadurch wird ihre Fähigkeit, genügend nützliche Informationen zu sammeln, um ihre Modelle effektiv zu trainieren, erheblich eingeschränkt.

Um überzeugende, menschenähnliche Inhalte zu generieren, haben wir Workers AI mit einem Open-Source-Modell verwendet, um einzigartige HTML-Seiten zu verschiedenen Themen zu erstellen. Anstatt diese Inhalte bei Bedarf zu erstellen (was sich auf die Leistung auswirken könnte), haben wir eine Vorabgenerierungspipeline implementiert, die den Inhalt bereinigt, um XSS-Schwachstellen zu vermeiden, und ihn in R2 speichert, um einen schnelleren Abruf zu ermöglichen. Wir haben festgestellt, dass die Erstellung einer Vielzahl von Themen und die anschließende Erstellung von Inhalten für jedes Thema zu vielfältigeren und überzeugenderen Ergebnissen führt. Es ist uns wichtig, dass wir keine ungenauen Inhalte generieren, die zur Verbreitung von Fehlinformationen im Internet beitragen. Daher sind die von uns generierten Inhalte echt und beziehen sich auf wissenschaftliche Fakten, sind aber nicht relevant oder urheberrechtlich geschützt für die gecrawlte Website.

Diese vorab generierten Inhalte werden über unseren benutzerdefinierten HTML-Transformationsprozess nahtlos als versteckte Links auf bestehenden Seiten integriert, ohne die ursprüngliche Struktur oder den Inhalt der Seite zu stören. Jede generierte Seite enthält geeignete Meta-Anweisungen, um die Suchmaschinenoptimierung zu schützen, indem die Indexierung durch Suchmaschinen verhindert wird. Wir haben auch dafür gesorgt, dass diese Links für menschliche Besucher durch sorgfältig implementierte Attribute und Stile unsichtbar bleiben. Um die Auswirkungen auf reguläre Besucher weiter zu minimieren, haben wir sichergestellt, dass diese Links nur mutmaßlichen KI-Scrapern angezeigt werden, während legitime Benutzer und verifizierte Crawler normal surfen können.

Dieser Ansatz erweist sich als besonders wirkungsvoll, da er eine zentrale Rolle in unserem ständig weiterentwickelten Bot-Erkennungssystem spielt. Sobald diese Links aufgerufen werden, können wir mit hoher Sicherheit automatisierte Crawler-Aktivitäten identifizieren, da echte Nutzer und gängige Browser sie weder sehen noch anklicken würden. Dies stellt einen leistungsstarken Mechanismus zur Erkennung dar, der wertvolle Daten liefert und in unsere maschinellen Lernmodelle einfließt.

Durch die Analyse der Crawler, die diesen versteckten Pfaden folgen, lassen sich neue Bot-Muster und -Signaturen aufdecken, die andernfalls möglicherweise unbemerkt blieben. Dieser vorausschauende Ansatz ermöglicht es uns, KI-gestützten Scrapern stets einen Schritt voraus zu sein und unsere Erkennungsmethoden kontinuierlich zu optimieren – ohne das normale Surferlebnis zu beeinträchtigen.

Mit der Entwicklung dieser Lösung auf unserer Entwicklerplattform haben wir ein System geschaffen, das automatisch überzeugende Köderinhalte bereitstellt und dabei eine konstant hohe Qualität gewährleistet – und das ohne negative Auswirkungen auf die Performance Ihrer Website oder das Nutzererlebnis.

Wie man AI Labyrinth verwendet, um KI-Crawler zu stoppen

AI Labyrinth zu aktivieren ist einfach und erfordert nur einen einzigen Schalter in Ihrem Cloudflare-Dashboard. Navigieren Sie zum Abschnitt „Bot-Verwaltung“ in Ihrer Zone und schalten Sie die neue AI Labyrinth-Einstellung auf „Ein“:

Quelle: Cloudflare-Blog / Hier weiterlesen.

Bild/Quelle: https://depositphotos.com/de/home.html