KI-Crawler im Fokus: Datenverkehr nach Zweck und Branche

KI-Chatbots durchsuchen Websites millionenfach – doch sie liefern kaum Besucher zurück.

Neue Daten zeigen: Plattformen wie ChatGPT greifen massenhaft auf Inhalte zu, ohne Publishern nennenswerten Traffic zu verschaffen. Laut Cloudflare crawlen OpenAIs Bots eine Website im Schnitt 887 Mal für jeden einzelnen Besucher, den sie weiterleiten. Andere Anbieter schneiden noch schlechter ab.

Spitzenreiter ist Anthropic, Entwickler von Claude.

Das Crawl-to-Refer-Verhältnis liegt dort bei fast 50.000:1.

Für Publisher bedeutet das: Auf eine Million Crawls folgen im Schnitt nur 20 Besucher. „Keine Klicks, keine Besucher und keine Werbeeinnahmen“, fasst Cloudflare in einem Blogeintrag zusammen.

Vom Suchmodell zur KI-Logik

Suchmaschinen crawlen Websites seit jeher mit dem Versprechen, im Gegenzug Besucher zu bringen – eine Grundlage für Klicks, Reichweite und Werbeeinnahmen. Dieses Modell funktionierte jahrzehntelang, unterstützt durch die Optimierung von Inhalten für bessere Platzierungen.

Mit dem Aufstieg von KI-Plattformen gerät dieses Gleichgewicht jedoch ins Wanken. KI-gestützte Antworten ersetzen klassische Klicks auf Quellen. Oft fehlt sogar ein Link. Ergebnis: Kein Traffic, keine Einnahmen.

Cloudflare-Radar führt Kennzahlen ein

Um das Ausmaß zu verdeutlichen, hat Radar am 1. Juli das Crawl/Refer-Verhältnis eingeführt. Es vergleicht die Zahl der Crawling-Anfragen einer Plattform mit den tatsächlich vermittelten Seitenaufrufen – gemessen am menschlichen Traffic. Diese Metrik ergänzt die Einblicke, die Cloudflare bereits während der Birthday Week 2024 zu KI-Bot- und Crawler-Traffic veröffentlicht hat.

Neu auf Cloudflare Radar:

• Branchenbezogene Daten zum AI-Bot-Traffic

• Eine Aufschlüsselung des Traffics nach Zweck

Traffic nach Typ

Seit dem Durchbruch der großen Sprachmodelle Ende 2022 dient ein Großteil der KI-Crawls dem Training neuer Modelle – häufig aggressiv und oft ohne Rücksicht auf robots.txt-Anweisungen.

Weitere Einsatzbereiche:

• Search: Aufbau von Indizes für KI-Suchfunktionen

• User action: Crawling auf direkte Anfrage, etwa bei Flugsuchen

• Undeclared: Crawler ohne erkennbare Zweckangabe

Im Dashboard können Nutzer den Traffic nun nach diesen Kategorien filtern.

Sobald ein Zweck ausgewählt wurde, wird das Diagramm „HTTP-Datenverkehr nach Bot” aktualisiert und zeigt die Datenverkehrstrends über den ausgewählten Zeitraum für die fünf aktivsten KI-Bots, die für den ausgewählten Zweck crawlen.

Wenn Sie beispielsweise „Benutzeraktion” auswählen, wird ein Diagramm wie das untenstehende angezeigt, das die ersten 28 Tage des Monats Juli 2025 abdeckt. Der Bot „ChatGPT-User” von OpenAI ist für fast drei Viertel des Anfrage-Datenverkehrs dieser Crawler-Gruppe verantwortlich. Ein täglicher Zyklus ist deutlich erkennbar, was auf eine regelmäßige Nutzung von ChatGPT in dieser Form hindeutet, wobei diese Nutzung im Laufe des Monats allmählich zunimmt. Wenn „ChatGPT-User“ aus dem Diagramm entfernt wird, zeigt „Perplexity-User“ ein ähnliches Muster.

Radar wurde außerdem um ein neues Diagramm zum Zweck des Crawlings erweitert, das die Traffic-Trends nach Zweck aufschlüsselt. Der Training-Traffic, der fast 80 % des Crawlings von KI-Bots ausmacht, ist von Natur aus etwas unregelmäßig und weist kein klares zyklisches Muster auf. Solche Muster sind jedoch für die Zwecke User action und Undeclared erkennbar, wie aus dem folgenden Diagramm hervorgeht, obwohl sie in diesem Zeitraum weniger als 5 % des KI-Bot-Traffics ausmachen.

In der Ansicht „Daten-Explorer“ für den Datensatz „KI-Bots und Crawler“ können Sie die Daten nun nach Crawl-Zweck aufschlüsseln, um zu untersuchen, wie sich die Aktivität im Laufe der Zeit verändert hat. Alternativ können Sie die Daten nach User-Agent aufschlüsseln und nach Crawl-Zweck filtern, um Traffic-Trends über eine größere Gruppe von Bots (über die fünf wichtigsten hinaus) zu untersuchen. Vergleiche mit früheren Zeiträumen sind hier ebenfalls verfügbar.

Sichtbarkeit nach Branche

Anhand Ihrer eigenen Traffic-Daten können Sie sehen, wie aggressiv Crawler Ihre Inhalte scrapen. Sie können auch sehen, wie häufig sie Traffic an Sie zurückleiten. Möglicherweise möchten Sie jedoch auch wissen, wie diese Messwerte im Vergleich zu Ihrer Peer-Gruppe ausfallen – werden Sie häufiger oder seltener gecrawlt und leiten die Plattformen mehr oder weniger Traffic an Ihre Websites zurück? Die neue Branchenfilterung, die für das HTTP-Traffic-by-Bot-Diagramm und die Crawl-to-Refer-Verhältnis-Tabelle im Abschnitt AI Insights von Radar verfügbar ist, kann Ihnen diese Perspektive bieten.

Wählen Sie in der Karte „AI-Bot- und Crawler-Traffic“ auf der Seite „AI Insights“ eine Branche aus der Dropdown-Liste oben rechts in der Karte aus. Die Diagramme in den Abschnitten „HTTP-Traffic nach Bot“ und „Crawl-Zweck“ der Karte werden entsprechend der Auswahl aktualisiert, ebenso wie die Tabelle „Crawl-to-Refer-Verhältnis“. (Wenn Sie einen Crawl-Zweck aus diesem Dropdown-Menü auswählen, wird das Diagramm „HTTP-Traffic nach Bot“ weiter aktualisiert.)

Es ist interessant zu beobachten, wie sich die Crawling-Muster zwischen den verschiedenen Branchen unterscheiden, ebenso wie die Zusammensetzung der aktivsten Bots und die Crawl-to-Refer-Verhältnisse. In der ersten Augustwoche beispielsweise, in der kein vertikaler oder Crawling-Zweck ausgewählt wurde, machen ClaudeBot und GPTBot fast die Hälfte der beobachteten Crawling-Aktivitäten aus, wobei Meta-ExternalAgent als einziger unter den Top 5 eine Aktivität aufweist, die entfernt einem Muster ähnelt. In der Standardansicht hatte Anthropic mit fast 50.000:1 das höchste Crawl-to-Refer-Verhältnis, gefolgt von OpenAI mit 887:1 und Perplexity mit 118:1.

Wenn jedoch die Branche „Nachrichten und Veröffentlichungen“ ausgewählt wird, sehen wir eine viel engere Verteilung des Traffics unter den Top 5, die von einem Anteil von 14,9 % bei ChatGPT-User bis zu einem Anteil von 17,4 % bei GPTBot reicht. Die Präsenz von ChatGPT-User unter den Top 5 lässt vermuten, dass eine beträchtliche Anzahl von Nutzern in diesem Zeitraum Fragen zu aktuellen Ereignissen gestellt hat. Für diese Nachrichten- und Publikationsseiten sind die Crawl-to-Refer-Verhältnisse niedriger als in der Standardansicht, mit Anthropic bei 2.500:1, OpenAI bei 152:1 und Perplexity bei 32,7:1.

Als drittes Beispiel stellen wir fest, dass sich die Zusammensetzung für die Computer- und Elektronikbranche erneut verschiebt. Während GPTBot erneut der aktivste KI-Bot war, rückte Amazonbot auf den zweiten Platz vor; zusammen machen diese Bots nun über 40 % des Crawling-Traffics aus. ClaudeBot und Meta-ExternalAgent hatten beide einen Anteil von 13,9 % am Crawling-Traffic, wobei ByteSpider von ByteDance die Top 5 abrundete. Die Crawl-to-Refer-Verhältnisse für diesen Bereich sind erneut niedriger als bei der ungefilterten Ansicht, wobei Anthropic auf 8.800:1, OpenAI auf 401,7:1 und Perplexity auf 88:1 gesunken sind.

In Data Explorer können Sie nun die Daten von KI-Bots und Crawlern nach Vertikalen und Branchen aufschlüsseln. (Eine Vertikale ist eine vordefinierte Sammlung mehrerer verwandter Branchen.) Außerdem können Sie die Aufschlüsselungen nach Crawling-Zweck und User-Agent nach Vertikalen und Branchen filtern. Die folgenden Grafiken veranschaulichen beispielsweise die Traffic-Trends nach AI-Crawler für Websites innerhalb der Kryptowährungsbranche unter der Vertikalen Finanzen sowie die Traffic-Trends nach Crawling-Zweck für dieses Branchen-/Vertikalpaar. Obwohl diese Websites Crawling-Traffic von einer ganzen Reihe von Bots verzeichnen, konzentrierten sich drei Viertel dieses Traffics in der ersten Augustwoche auf nur vier Bots, und 80 % davon dienten der Sammlung von Informationen zum Trainieren von Modellen.

Da es sich bei den auf der Hauptseite von AI Insights angezeigten Branchen um manuell zusammengestellte Sammlungen verwandter Branchen handelt, werden beim Klicken auf die Daten-Explorer-Ansicht aus einem dieser Diagramme die entsprechenden Einträge im Branchenauswahlfeld vorab ausgefüllt. Wenn Sie beispielsweise aus dem Diagramm „HTTP-Datenverkehr nach Bot“ für die Gaming- und Glücksspielbranche klicken, wird die folgende Daten-Explorer-Ansicht angezeigt, in der die einzelnen Branchen aufgelistet sind.

 

Fazit von Cloudflare

KI-Crawler sind für Content-Eigentümer längst zur Normalität geworden. Ihr Einsatz ist jedoch komplexer geworden, da Bots heute nicht mehr nur für das Training von Sprachmodellen genutzt werden. Derzeit entstehen Ansätze, mit denen Website-Betreiber festlegen können, wie automatisierte Systeme ihre Inhalte verwenden dürfen. Bis solche Lösungen standardisiert und breit umgesetzt sind, wird es jedoch noch dauern. Cloudflare kündigt an, die Analysen zu den Aktivitäten von KI-Crawlern über Radar kontinuierlich zu erweitern.

Quelle aller Grafiken: Cloudflare

Mehr Lesestoff für Sie

---

Folgen Sie uns auf X

Folgen Sie uns auf Bluesky