Bot-Verifizierung in Server-Logs

Jeder Client kann einen Googlebot-User-Agent senden, und auf den meisten öffentlichen Websites stammt ein erheblicher Teil der Zugriffe, die das behaupten, in Wahrheit von Scrapern, Monitoring-Diensten und KI-Crawlern, die sich den Namen nur ausleihen. Arbeit am Crawl-Budget auf Basis eines ungeprüften Logs ist falsch, bevor die Analyse überhaupt beginnt, und Firewall-Regeln, die daraus entstehen, sperren die falschen Dinge. Das gilt immer, wenn Logs als Beleg dienen, und in jedem Fall, bevor jemand einen Crawler am Edge sperrt.

Die Skill-Datei

---
name: server-log-bot-verification
description: Verwenden Sie dies, wenn eine Crawl-Analyse, ein Bandbreitenausschlag oder der Vorschlag, einen Crawler zu sperren, auf Logzeilen beruht, in denen Googlebot steht, und niemand geprüft hat, ob es wirklich Googlebot war.
---

# Bot-Verifizierung in Server-Logs

Jeder Client kann einen Googlebot-User-Agent senden, und auf den meisten öffentlichen Websites stammt ein erheblicher Teil der Zugriffe, die das behaupten, in Wahrheit von Scrapern, Monitoring-Diensten und KI-Crawlern, die sich den Namen nur ausleihen. Arbeit am Crawl-Budget auf Basis eines ungeprüften Logs ist falsch, bevor die Analyse überhaupt beginnt, und Firewall-Regeln, die daraus entstehen, sperren die falschen Dinge. Das gilt immer, wenn Logs als Beleg dienen, und in jedem Fall, bevor jemand einen Crawler am Edge sperrt.

## Was Sie vorher brauchen

- Rohe Zugriffslogs mit IP, User-Agent, Status, Bytes und Zeitstempel, mindestens 14 Tage und ohne Stichprobenbildung
- Die Möglichkeit, vom Log-Host aus Reverse- und Forward-DNS-Abfragen auszuführen, oder die veröffentlichten IP-Bereiche der Crawler, auf die es Ihnen ankommt
- robots.txt sowie alle bereits aktiven Bot-Regeln in CDN oder WAF
- Eine Liste der kommerziell relevanten Crawler, wobei Suchmaschinen und KI-Assistenten getrennt geführt werden

## Methode

1. Gruppieren Sie die Anfragen nach eindeutigem User-Agent-String samt Anzahl und Bytes. Erst die Sortierung nach behaupteter Identität macht die Vortäuschung überhaupt sichtbar.
2. Verifizieren Sie jeden Zugriff, der sich als Suchmaschinen-Crawler ausgibt, per Reverse-DNS auf die IP, lösen Sie den zurückgegebenen Hostnamen anschliessend vorwärts auf und bestätigen Sie, dass er wieder auf dieselbe IP zeigt. Wo kein Reverse-DNS angeboten wird, gleichen Sie mit der veröffentlichten IP-Bereichsdatei des Betreibers ab, die Sie frisch laden statt sie aus dem Gedächtnis zu verwenden.
3. Kennzeichnen Sie jede Anfrage als verifiziert, nicht verifiziert oder sonstige und bewahren Sie die nicht verifizierte Menge auf, statt sie zu löschen. Sie ist Ihr Bild von Scraping und Last und der einzige Ort, an dem ein Fälscher sichtbar wird.
4. Berechnen Sie Crawl-Frequenz, Crawl-Tiefe und Statusverteilung ausschliesslich auf dem verifizierten Segment neu. Jede Aussage zum Crawl-Budget stammt aus diesem Segment und aus keinem anderen.
5. Beziffern Sie, was der nicht verifizierte Traffic tatsächlich kostet: Antwortzeit am Origin, 5xx-Rate unter Last und Bandbreite. Drosseln Sie dort, wo die Quelle noch ein Werkzeug sein könnte, auf das sich jemand verlässt, und behalten Sie das vollständige Sperren dem Volumen vor, das dem Origin nachweislich schadet.
6. Entscheiden Sie über KI- und Trainings-Crawler getrennt von Suchmaschinen-Crawlern und halten Sie die Begründung schriftlich fest. Das ist ehrlich umstritten: Wer sie zulässt, erkauft Sichtbarkeit in Assistenzantworten, die vielleicht nie einen Klick bringen; wer sie sperrt, schützt Inhalte, die ohne Gegenleistung genutzt werden. Keine der beiden Positionen ist entschieden.
7. Wiederholen Sie das nach 30 Tagen. Fälscher wechseln den User-Agent, legitime Crawler wechseln IP-Bereiche, und eine einmalige Verifizierung verkommt zur trügerischen Gewissheit eines sauberen Logs.

## Was dabei herauskommt

Ein Logsegment verifizierter Crawler, je Crawler eine Entscheidung zulassen, drosseln oder sperren samt festgehaltener Begründung, und der verbleibende nicht verifizierte Traffic beziffert in Anfragen und Bandbreite.

## Wo es schiefgeht

- Anhand des User-Agents verifizieren oder gegen eine vor Monaten heruntergeladene IP-Bereichsdatei, sodass ein Scraper in Ihren Crawl-Budget-Zahlen mitläuft und ausserhalb Ihrer Drosselung bleibt
- An der WAF sperren, bevor ein Disallow in der robots.txt versucht wurde, wodurch aus einem Crawler, der sich an die Regel gehalten hätte, ein Strom von 403ern wird, den Sie nun erklären müssen
- Jeden siebten Tag als Stichprobe nehmen, obwohl Crawling schubweise eintrifft und ein Stichprobentag entweder komplett Schub oder komplett Ruhe ist
- Einen Googlebot-String aus einem Cloud-Hosting-Bereich als Beweis für Manipulation lesen, obwohl Emulatoren und Testwerkzeuge von Drittanbietern denselben String völlig legitim senden

---

Aus der QuQi-Skill-Bibliothek - https://www.quqi.io/de/skills/server-log-bot-verification

Was Sie vorher brauchen

• Rohe Zugriffslogs mit IP, User-Agent, Status, Bytes und Zeitstempel, mindestens 14 Tage und ohne Stichprobenbildung
• Die Möglichkeit, vom Log-Host aus Reverse- und Forward-DNS-Abfragen auszuführen, oder die veröffentlichten IP-Bereiche der Crawler, auf die es Ihnen ankommt
• robots.txt sowie alle bereits aktiven Bot-Regeln in CDN oder WAF
• Eine Liste der kommerziell relevanten Crawler, wobei Suchmaschinen und KI-Assistenten getrennt geführt werden

Methode

1. 01 Gruppieren Sie die Anfragen nach eindeutigem User-Agent-String samt Anzahl und Bytes. Erst die Sortierung nach behaupteter Identität macht die Vortäuschung überhaupt sichtbar.
2. 02 Verifizieren Sie jeden Zugriff, der sich als Suchmaschinen-Crawler ausgibt, per Reverse-DNS auf die IP, lösen Sie den zurückgegebenen Hostnamen anschliessend vorwärts auf und bestätigen Sie, dass er wieder auf dieselbe IP zeigt. Wo kein Reverse-DNS angeboten wird, gleichen Sie mit der veröffentlichten IP-Bereichsdatei des Betreibers ab, die Sie frisch laden statt sie aus dem Gedächtnis zu verwenden.
3. 03 Kennzeichnen Sie jede Anfrage als verifiziert, nicht verifiziert oder sonstige und bewahren Sie die nicht verifizierte Menge auf, statt sie zu löschen. Sie ist Ihr Bild von Scraping und Last und der einzige Ort, an dem ein Fälscher sichtbar wird.
4. 04 Berechnen Sie Crawl-Frequenz, Crawl-Tiefe und Statusverteilung ausschliesslich auf dem verifizierten Segment neu. Jede Aussage zum Crawl-Budget stammt aus diesem Segment und aus keinem anderen.
5. 05 Beziffern Sie, was der nicht verifizierte Traffic tatsächlich kostet: Antwortzeit am Origin, 5xx-Rate unter Last und Bandbreite. Drosseln Sie dort, wo die Quelle noch ein Werkzeug sein könnte, auf das sich jemand verlässt, und behalten Sie das vollständige Sperren dem Volumen vor, das dem Origin nachweislich schadet.
6. 06 Entscheiden Sie über KI- und Trainings-Crawler getrennt von Suchmaschinen-Crawlern und halten Sie die Begründung schriftlich fest. Das ist ehrlich umstritten: Wer sie zulässt, erkauft Sichtbarkeit in Assistenzantworten, die vielleicht nie einen Klick bringen; wer sie sperrt, schützt Inhalte, die ohne Gegenleistung genutzt werden. Keine der beiden Positionen ist entschieden.
7. 07 Wiederholen Sie das nach 30 Tagen. Fälscher wechseln den User-Agent, legitime Crawler wechseln IP-Bereiche, und eine einmalige Verifizierung verkommt zur trügerischen Gewissheit eines sauberen Logs.

Was dabei herauskommt

Ein Logsegment verifizierter Crawler, je Crawler eine Entscheidung zulassen, drosseln oder sperren samt festgehaltener Begründung, und der verbleibende nicht verifizierte Traffic beziffert in Anfragen und Bandbreite.

Wo es schiefgeht

• Anhand des User-Agents verifizieren oder gegen eine vor Monaten heruntergeladene IP-Bereichsdatei, sodass ein Scraper in Ihren Crawl-Budget-Zahlen mitläuft und ausserhalb Ihrer Drosselung bleibt
• An der WAF sperren, bevor ein Disallow in der robots.txt versucht wurde, wodurch aus einem Crawler, der sich an die Regel gehalten hätte, ein Strom von 403ern wird, den Sie nun erklären müssen
• Jeden siebten Tag als Stichprobe nehmen, obwohl Crawling schubweise eintrifft und ein Stichprobentag entweder komplett Schub oder komplett Ruhe ist
• Einen Googlebot-String aus einem Cloud-Hosting-Bereich als Beweis für Manipulation lesen, obwohl Emulatoren und Testwerkzeuge von Drittanbietern denselben String völlig legitim senden

Diese Skill in Ihrer eigenen KI nutzen

Die Datei ist einfaches Markdown, mit Name und Auslöser im Frontmatter. Wo ein Assistent Skills selbst laden kann, liest er genau dieses Frontmatter, um zu entscheiden, dass diese hier passt.

Mehr in Technisches SEO