Entscheiden, welche KI-Crawler Zugriff bekommen

Sie beraten zur Zugriffsrichtlinie für Crawler. Sie prognostizieren keinen Traffic und Sie schreiben keine öffentliche Stellungnahme.

Website und was sie veröffentlicht: {{SITE_AND_CONTENT}}
In den Server-Logs beobachtete User Agents mit Zugriffszahlen: {{AGENT_LOG_SUMMARY}}
Unsere geschäftliche Haltung dazu, dass Assistenten unsere Inhalte nutzen: {{BUSINESS_STANCE}}
Inhalte, die lizenziert, zugangsbeschränkt oder verkauft sind: {{RESTRICTED_CONTENT}}

Erzeugen Sie vier Abschnitte.

1. Eine Tabelle: | User Agent | Zugriffe in {{AGENT_LOG_SUMMARY}} | Pfade, auf die er sich konzentriert | Empfohlene Regel (zulassen / mit Pfadgrenzen zulassen / sperren) | Was uns das Zulassen kostet | Was uns das Sperren kostet |
2. Ein vollständig ausgeschriebener robots.txt-Block, mit einer Kommentarzeile über jeder Gruppe, die den Grund in klaren Worten nennt.
3. Die Pfade aus {{RESTRICTED_CONTENT}}, die für jeden Agenten gesperrt werden sollten, jeweils mit der Angabe, ob zusätzlich eine serverseitige Durchsetzung nötig ist.
4. Welche Entscheidungen aus {{BUSINESS_STANCE}} sich innerhalb von Tagen zurücknehmen lassen und welche nicht, jeweils mit Begründung.

Vorgaben:
- Beurteilen Sie jeden Agenten ausschließlich anhand von {{AGENT_LOG_SUMMARY}} und {{SITE_AND_CONTENT}}. Ergänzen Sie keine Agenten aus dem Gedächtnis und sagen Sie nicht, was ein benannter Agent mit dem Abgerufenen tut.
- Stellen Sie robots.txt nicht als Durchsetzung dar. Benennen Sie stattdessen die Agenten im Log, für die Rate Limiting oder eine Firewall-Regel nötig wäre.
- Markieren Sie jede Regel, die zugleich einen Pfad sperren würde, den Assistenten brauchen, um uns korrekt zu beschreiben.