Verificación de bots en los logs del servidor

Cualquier cliente puede enviar una cadena de user agent de Googlebot, y en la mayoría de sitios públicos una parte nada despreciable de los accesos que dicen serlo son scrapers, herramientas de monitorización y rastreadores de IA disfrazados con ese nombre. Un trabajo de presupuesto de rastreo construido sobre un log sin verificar ya es erróneo antes de empezar el análisis, y las reglas de firewall que salen de ahí bloquean lo que no deben. Esto aplica siempre que los logs sean la prueba, y siempre antes de que alguien bloquee un rastreador en el edge.

El archivo de la habilidad

---
name: server-log-bot-verification
description: Úsala cuando un análisis de rastreo, un pico de ancho de banda o una propuesta para bloquear un rastreador se apoyen en líneas de log que dicen Googlebot y nadie haya comprobado si de verdad lo eran.
---

# Verificación de bots en los logs del servidor

Cualquier cliente puede enviar una cadena de user agent de Googlebot, y en la mayoría de sitios públicos una parte nada despreciable de los accesos que dicen serlo son scrapers, herramientas de monitorización y rastreadores de IA disfrazados con ese nombre. Un trabajo de presupuesto de rastreo construido sobre un log sin verificar ya es erróneo antes de empezar el análisis, y las reglas de firewall que salen de ahí bloquean lo que no deben. Esto aplica siempre que los logs sean la prueba, y siempre antes de que alguien bloquee un rastreador en el edge.

## Qué necesitas antes

- Logs de acceso en bruto con IP, user agent, estado, bytes y marca de tiempo, 14 días como mínimo y sin muestrear
- Capacidad de hacer consultas DNS inversas y directas desde el equipo donde están los logs, o los rangos de IP publicados de los rastreadores que te interesen
- robots.txt más cualquier regla de bots que ya esté activa en el CDN o el WAF
- Una lista de qué rastreadores importan comercialmente, con los buscadores y los asistentes de IA separados

## Método

1. Agrupa las peticiones por cadena de user agent distinta, con recuentos y bytes. Ordenar primero por la identidad declarada es lo que hace visible la suplantación.
2. Verifica cada acceso que dice ser un rastreador de buscador con un DNS inverso sobre la IP, después resuelve en directo el nombre de host devuelto y confirma que apunta de vuelta a la misma IP. Donde no haya DNS inverso, contrasta con el fichero de rangos de IP que publica el operador, descargándolo de nuevo en lugar de fiarte del que recuerdas.
3. Etiqueta cada petición como verificada, sin verificar u otra, y conserva el conjunto sin verificar en lugar de borrarlo. Es tu radiografía del scraping y de la carga, y es el único sitio donde se ve a un suplantador.
4. Recalcula la frecuencia de rastreo, la profundidad de rastreo y la distribución de estados solo sobre el segmento verificado. Toda conclusión sobre el presupuesto de rastreo sale de ese segmento y de ningún otro.
5. Cuantifica lo que el tráfico sin verificar cuesta de verdad en tiempo de respuesta del origen, tasa de 5xx bajo carga y ancho de banda. Limita la tasa cuando la fuente pueda seguir siendo una herramienta de la que alguien depende, y reserva el bloqueo directo para el volumen que esté dañando el origen de forma demostrable.
6. Decide sobre los rastreadores de IA y de entrenamiento por separado de los de buscador, y deja escrito el motivo. Es un debate realmente abierto: permitirlos compra visibilidad en respuestas de asistentes que puede que no envíen nunca un clic, bloquearlos protege contenido que se está usando sin contrapartida, y ninguna de las dos posturas está zanjada.
7. Repítelo a los 30 días. Los suplantadores cambian de user agent, los rastreadores legítimos cambian de rangos de IP, y una verificación hecha una sola vez se degrada hasta convertirse en la falsa sensación de tener un log limpio.

## Qué produce esto

Un segmento de log con rastreadores verificados, una decisión por rastreador de permitir, limitar la tasa o bloquear con su motivo declarado, y el tráfico sin verificar restante cuantificado en peticiones y ancho de banda.

## Dónde falla esto

- Verificar por user agent, o contra un fichero de rangos de IP descargado hace meses, con lo que un scraper se queda dentro de tus cifras de presupuesto de rastreo y fuera de tus límites de tasa
- Bloquear en el WAF antes de probar con un Disallow en robots.txt, lo que convierte a un rastreador que habría obedecido la regla en un chorro de 403 que ahora te toca explicar
- Muestrear un día de cada siete, ya que el rastreo llega a ráfagas y un día muestreado es o todo ráfaga o nada de ráfaga
- Leer una cadena de Googlebot desde un rango de hosting en la nube como prueba de interferencia, cuando los emuladores y las herramientas de testing de terceros envían esa misma cadena de forma legítima

---

De la biblioteca de habilidades de QuQi - https://www.quqi.io/es/skills/server-log-bot-verification

Qué necesitas antes

• Logs de acceso en bruto con IP, user agent, estado, bytes y marca de tiempo, 14 días como mínimo y sin muestrear
• Capacidad de hacer consultas DNS inversas y directas desde el equipo donde están los logs, o los rangos de IP publicados de los rastreadores que te interesen
• robots.txt más cualquier regla de bots que ya esté activa en el CDN o el WAF
• Una lista de qué rastreadores importan comercialmente, con los buscadores y los asistentes de IA separados

Método

1. 01 Agrupa las peticiones por cadena de user agent distinta, con recuentos y bytes. Ordenar primero por la identidad declarada es lo que hace visible la suplantación.
2. 02 Verifica cada acceso que dice ser un rastreador de buscador con un DNS inverso sobre la IP, después resuelve en directo el nombre de host devuelto y confirma que apunta de vuelta a la misma IP. Donde no haya DNS inverso, contrasta con el fichero de rangos de IP que publica el operador, descargándolo de nuevo en lugar de fiarte del que recuerdas.
3. 03 Etiqueta cada petición como verificada, sin verificar u otra, y conserva el conjunto sin verificar en lugar de borrarlo. Es tu radiografía del scraping y de la carga, y es el único sitio donde se ve a un suplantador.
4. 04 Recalcula la frecuencia de rastreo, la profundidad de rastreo y la distribución de estados solo sobre el segmento verificado. Toda conclusión sobre el presupuesto de rastreo sale de ese segmento y de ningún otro.
5. 05 Cuantifica lo que el tráfico sin verificar cuesta de verdad en tiempo de respuesta del origen, tasa de 5xx bajo carga y ancho de banda. Limita la tasa cuando la fuente pueda seguir siendo una herramienta de la que alguien depende, y reserva el bloqueo directo para el volumen que esté dañando el origen de forma demostrable.
6. 06 Decide sobre los rastreadores de IA y de entrenamiento por separado de los de buscador, y deja escrito el motivo. Es un debate realmente abierto: permitirlos compra visibilidad en respuestas de asistentes que puede que no envíen nunca un clic, bloquearlos protege contenido que se está usando sin contrapartida, y ninguna de las dos posturas está zanjada.
7. 07 Repítelo a los 30 días. Los suplantadores cambian de user agent, los rastreadores legítimos cambian de rangos de IP, y una verificación hecha una sola vez se degrada hasta convertirse en la falsa sensación de tener un log limpio.

Qué produce esto

Un segmento de log con rastreadores verificados, una decisión por rastreador de permitir, limitar la tasa o bloquear con su motivo declarado, y el tráfico sin verificar restante cuantificado en peticiones y ancho de banda.

Dónde falla esto

• Verificar por user agent, o contra un fichero de rangos de IP descargado hace meses, con lo que un scraper se queda dentro de tus cifras de presupuesto de rastreo y fuera de tus límites de tasa
• Bloquear en el WAF antes de probar con un Disallow en robots.txt, lo que convierte a un rastreador que habría obedecido la regla en un chorro de 403 que ahora te toca explicar
• Muestrear un día de cada siete, ya que el rastreo llega a ráfagas y un día muestreado es o todo ráfaga o nada de ráfaga
• Leer una cadena de Googlebot desde un rango de hosting en la nube como prueba de interferencia, cuando los emuladores y las herramientas de testing de terceros envían esa misma cadena de forma legítima

Usa esta skill en tu propia IA

El archivo es markdown simple, con el nombre y el disparador en su frontmatter. Cuando un asistente sabe cargar skills por su cuenta, es ese frontmatter lo que lee para decidir que esta le aplica.

Más en SEO técnico