Publisher müssen sich dieser Tage mit einer neuen Problematik auseinandersetzen, die KI-Assistenten mit sich bringen. Deren Bots greifen intensiv auf Inhalte der Publisher zu, schicken aber kaum menschliche Besucher:innen zurück. Eine Analyse des Bot-Spezialisten Tollbit zeigt dieses Missverhältnis besonders deutlich bei europäischen Websites.
Ein Publisher veröffentlicht einen Artikel, kurz darauf greifen KI-Bots auf den Inhalt zu, mitunter immer wieder. Für den Verlag wäre das weniger problematisch, wenn daraus ähnlich wie bei der klassischen Websuche auch vermarktbare Reichweite entstünde. Doch dieser traditionelle Werteaustausch funktioniert mit KI-Bots bislang kaum bis gar nicht.
Nach Daten des New Yorker Techinfrastruktur-Anbieters Tollbit kamen im ersten Halbjahr 2026 lediglich 0,05 Prozent der externen Referrals europäischer Publisher aus KI-Anwendungen. Google lieferte weiterhin rund 84 Prozent. Rechnerisch standen einem menschlichen Besuch aus einer KI-Anwendung 179 erfolgreiche Abrufe durch sogenannte RAG-Bots gegenüber. Diese Bots holen aktuelle Inhalte aus dem Web, um sie für konkrete KI-Antworten zu verwenden. Innerhalb einer festen europäischen Publisher-Kohorte wurde das Verhältnis im Jahresverlauf noch ungünstiger. Im ersten Quartal kamen 150 RAG-Abrufe auf einen Referral, im zweiten bereits 227.
Trägt Europa mehr Bot-Last?
Auch beim reinen Zugriff sieht Tollbit europäische Publisher stärker belastet. Im Median verzeichneten europäische Websites im ersten Halbjahr viermal so viele identifizierte KI-Scrapes wie ihre nordamerikanischen Pendants. Auf etwa 33 menschliche Besuche kam ein Bot-Abruf, in Nordamerika auf 93. Von Januar bis Juni nahm die durchschnittliche Zahl der Scrapes pro europäischer Website zudem um knapp 20 Prozent zu. Besonders stark wuchsen Local News mit 103 Prozent und Sport mit 21 Prozent gegenüber dem Vorquartal.
Ein Grund dafür liegt in der Funktionsweise von RAG-Systemen. Trainings-Crawler sammeln Inhalte für die spätere Verarbeitung. Ein RAG-Bot braucht dagegen aktuelle Informationen für konkrete Nutzeranfragen und kommt deshalb immer wieder. Im ersten Quartal griffen solche Bots auf eine einzelne europäische Seite durchschnittlich 41-mal zu, im zweiten Quartal 50-mal.
Ob Europa generell stärker betroffen ist, bleibt jedoch offen. Das Branchenmagazin Digiday nennt für die Tollbit-Analyse 3.906 Publisher als Basis, davon 456 aus Europa. Dabei handelt es sich um Websites aus Tollbits eigenem Netzwerk. Die Zusammensetzung dieser Gruppe kann den regionalen Vergleich naturgemäß beeinflussen. Digiday verweist zudem auf abweichende Daten anderer Anbieter. Cloudflare sieht dem Bericht zufolge in absoluten Zahlen mehr Bot-Requests in Nordamerika. Im Media- und Publishing-Sektor ist der Anteil des Bot-Traffics am Gesamttraffic nach Cloudflare-Daten dagegen in Europa höher. Auch der Bot-Security-Anbieter Datadome erklärte gegenüber Digiday, keine durchgängige regionale Lücke zu erkennen, und verweist auf große Unterschiede zwischen einzelnen Publishern. Tollbit vermutet als möglichen Grund für seine Europa-Zahlen den Bedarf an mehrsprachigen Inhalten.
Wenn sich Scraper als Browser tarnen
Noch schwieriger wird die Lage bei Bots, die ihre Herkunft verschleiern. Tollbit testete 14 kommerzielle Scraping-Dienste auf 20 großen britischen Publisher-Websites. Bei 19 von 20 Angeboten konnte mindestens einer der getesteten Scraper Inhalte abrufen. Nach Angaben des Unternehmens gelang dies teilweise auch bei vollständigen Artikeln hinter einer Paywall.
Die Scraper wechselten unter anderem IP-Adressen und Browserkennungen oder traten als Googlebot auf. Hinzu kommen Headless Browser und sogenannte Residential Proxies. Letztere leiten Zugriffe über gewöhnliche Internetanschlüsse und IP-Adressen, wodurch maschinelle Abrufe eher wie normaler Nutzertraffic aussehen können. In einem Test registrierte Tollbit 43 Anfragen eines Scrapers innerhalb weniger Sekunden, verteilt über unterschiedliche IP-Adressen und Orte. Bei einem weiteren Versuch trafen 32 nahezu parallele Requests auf die Publisher-Seite. Einige wurden geblockt, andere gelangten durch.
Für Publisher wird aus einem simplen „Bot erlauben oder blockieren“ damit ein Problem. Erst muss klar sein, dass hinter dem vermeintlichen Browser überhaupt eine Maschine steckt.
Die Bots erreichen auch die Werbetechnik
Das Thema ist auch für den Werbemarkt relevant. Denn Tollbit beobachtete bei seinen Tests Scraper, die Webseiten offenbar so vollständig renderten, dass dabei Google-Ads-Bots ausgelöst wurden. Der Anbieter sieht darin entsprechend ein mögliches Media-Quality- beziehungsweise Ad-Fraud-Risiko.
Dass Werbetreibende für diese konkreten Zugriffe tatsächlich bezahlt haben, weist der Report allerdings nicht nach, denn es fehlen entsprechende Abrechnungsdaten. Interessant ist die Beobachtung trotzdem – Scraper können offenbar tief genug in die normale Seitenauslieferung gelangen, um Teile der Werbetechnik zu aktivieren.
KI-Scraper sind natürlich nicht automatisch Fraud-Bots. Sie werden primär gebaut, um Inhalte abzurufen. Je besser sie menschliche Browser imitieren, desto anspruchsvoller wird jedoch die Trennung von menschlichem und maschinellem Traffic. Für Publisher, Adserver und Verification-Anbieter ergibt sich somit ein zusätzliches, ungewolltes Einsatzfeld.
Robots.txt setzt Grenzen nur auf dem Papier
Robots.txt löst das Problem nur bedingt. Die Datei teilt Crawlern lediglich mit, welche Zugriffe ein Websitebetreiber erlaubt. Eine technische Sperre ist sie nicht. So erfolgten rund 15 Prozent der von Tollbit erfassten KI-Scrapes auf europäischen Websites trotz eines aktiven Disallow-Eintrags. Im Median registrierte das Unternehmen 2,8-mal so viele solcher Zugriffe bei europäischen Publishern wie beim nordamerikanischen Pendant. Für ChatGPT-User weist Tollbit eine Bypass-Rate von 54 Prozent aus, für Bytespider 48 Prozent und für Perplexitybot 42 Prozent.
Für Tollbit steht daher fest, dass Publisher technische Mittel brauchen, wenn sie automatisierte Zugriffe tatsächlich erkennen, begrenzen oder kommerziell regeln wollen. Allerdings ist Tollbit auch ein Anbieter, der exakt diese Technologie verkaufen möchte. Das Unternehmen bietet Publishern eben jene Infrastruktur, um Bot-Zugriffe zu analysieren, zu steuern und über lizenzierte Zugänge zu monetarisieren. Auch im deutschen Markt entsteht mit Content Bridge eine Plattform, die dieses Problem lösen möchte.
Dennoch lässt sich das Ergebnis nicht wegdiskutieren. Publisher müssen inzwischen genauer wissen, wer ihre Inhalte automatisiert abruft, wie häufig dies geschieht und was dabei technisch ausgelöst wird. Denn wenn ein Bot wie ein Browser aussieht, reicht die alte Unterscheidung zwischen menschlichem Traffic und Crawler nicht mehr aus.
