KI-Bots überholen menschliche Nutzer: Dramatischer Wandel im Web-Traffic

Das Verhältnis zwischen automatisierten KI-Zugriffen und menschlichen Besuchern im Internet hat sich innerhalb eines Jahres fundamental verändert. Während zu Jahresbeginn 2025 noch 200 menschliche Nutzer auf einen Bot-Besuch kamen, liegt das Verhältnis Ende des Jahres bereits bei 31:1. Diese Entwicklung stellt Verlage und Website-Betreiber vor neue Herausforderungen.

Rasanter Anstieg automatisierter Zugriffe

Aktuelle Analysen des Unternehmens Tollbit dokumentieren einen signifikanten Wandel in der Struktur des Internet-Traffics. Die Zahlen aus dem dritten und vierten Quartal 2025 zeigen, dass sich die Frequenz von KI-Bot-Besuchen im Jahresverlauf um den Faktor 6,5 erhöht hat. Parallel dazu verzeichneten menschliche Zugriffe zwischen Q3 und Q4 einen Rückgang von rund 5 Prozent.

Die Ursache für diese Verschiebung ist in der veränderten Nutzung von KI-Technologien zu finden. Während Trainings-Crawls im Zeitraum von Q2 bis Q4 2025 um etwa 15 Prozent zurückgingen, stiegen RAG-Bots (Retrieval-Augmented Generation) um 33 Prozent und KI-Suchindexer um 59 Prozent an.

Web-Scraping als wachsendes Geschäftsmodell

Ein Großteil der KI-Entwickler sowie Unternehmen, die KI-Anwendungen einsetzen, nutzt externe Web-Scraping-Dienste für den Zugang zu Online-Inhalten. Diese Dienstleister extrahieren Inhalte, bereiten sie für KI-Systeme auf und vermarkten sie weiter – ohne direkte Kompensation der ursprünglichen Publisher.

Tollbit hat nahezu 40 solcher Scraping-Anbieter identifiziert. Viele dieser Dienste führen Fortune-1000-Unternehmen und KI-Firmen als Kunden auf. Auf ihren Websites werben sie explizit mit Technologien zur Umgehung von Sicherheitsmaßnahmen und mit der Fähigkeit, menschliches Verhalten zu imitieren.

Die jüngsten rechtlichen Auseinandersetzungen von Reddit und Google gegen Scraper-Dienste verdeutlichen das Ausmaß dieser Entwicklung. Selbst zahlungspflichtige Inhalte bleiben nicht verschont: Tests ergaben, dass einige Scraping-Dienste in der Lage sind, vollständige Artikel hinter Paywalls abzurufen. Google bezeichnete den Rechtsweg als „letztes Mittel“ – ein Indiz dafür, dass technische Schutzmaßnahmen allein nicht ausreichen.

Vervielfachung der Zugriffshäufigkeit

Die Analyse der Scraping-Muster zeigt deutliche Unterschiede zwischen verschiedenen Bot-Typen. Im vierten Quartal forderten RAG-Bots pro Seite durchschnittlich zehnmal mehr Anfragen an als Trainings-Bots. Die am häufigsten angefragten Inhalte variierten im Jahresverlauf: Während im dritten Quartal Themen wie die „Kimmel/Kirk-Kontroverse“ und die Serie „The Summer I Turned Pretty“ dominierten, verlagerte sich der Fokus im vierten Quartal auf „Stranger Things Staffel 5“ sowie Weihnachtsgeschenke und Black-Friday-Angebote.

Bei der Analyse von Weiterleitungen zeigen sich plattformspezifische Muster. ChatGPT generierte überdurchschnittlich viele Verweise bei technischen Themen wie Software-Downloads und B2B-Software-Bewertungen. Perplexity hingegen verwies verstärkt auf Shopping-Inhalte. Die höheren Klickraten in diesen Kategorien erklären sich durch die Handlungsabsicht der Nutzer.

Drastischer Rückgang der Klickraten

Für Publisher zeigt sich eine problematische Entwicklung bei den Klickraten. Websites ohne direkte Lizenzvereinbarung mit KI-Unternehmen verzeichneten einen Rückgang um das Dreifache – von 0,8 Prozent im zweiten Quartal auf 0,27 Prozent zum Jahresende.

Überraschenderweise bieten auch direkte Vereinbarungen keinen ausreichenden Schutz: Websites mit 1:1-KI-Lizenzverträgen erlebten sogar einen Rückgang um mehr als das Sechseinhalbfache – von 8,8 Prozent im ersten Quartal auf 1,33 Prozent zum Jahresende. Dies deutet darauf hin, dass solche Verträge die sinkenden Zugriffszahlen nicht verhindern können.

Forderungen nach regulatorischen Maßnahmen

Angesichts dieser Entwicklungen appelliert Tollbit an Regulierungsbehörden, Standards für KI-Zugriffe zu definieren und geistiges Eigentum zu schützen. Tollbit hat zudem ein Testinstrument für Publisher entwickelt, mit dem diese überprüfen können, ob ihre Websites gescrapt werden.

Da KI-Technologien mittlerweile fest etabliert sind, steht das Internet vor einem strukturellen Wandel. Website-Betreiber müssen sich darauf einstellen, dass automatisierte KI-Systeme zunehmend zur primären Nutzergruppe werden – eine Entwicklung, die neue Geschäftsmodelle und Schutzstrategien erforderlich macht.

Hier geht’s weiter