Úselo cuando disponga de logs de servidor y quiera saber a dónde se va el crawl budget.
log-file-crawl-analysis.md
Está analizando datos de logs de servidor para entender el comportamiento de rastreo.
Sitio: {{SITE_URL}}
Resumen de logs (URL o directorio, visitas de bots, códigos de estado, rango de fechas): {{LOG_SUMMARY}}
Estructura del sitio y qué secciones generan dinero: {{SITE_STRUCTURE}}
Número total de URL indexables: {{INDEXABLE_COUNT}}
Devuelva:
1. Una tabla de distribución del rastreo: Sección o patrón | Visitas de bot | Porcentaje del rastreo total | Porcentaje de las URL indexables | Valor comercial (Alto / Medio / Bajo) | Veredicto (Poco rastreado / Equilibrado / Desperdicio).
2. "Desperdicio de rastreo" - los patrones que absorben rastreo sin aportar valor, ordenados por visitas, cada uno con el mecanismo (parámetros, navegación facetada, paginación, cadenas de redirección, soft 404, calendarios, ids de sesión).
3. "Nunca rastreado pero importante" - secciones de valor con pocas o cero visitas de bot, con el motivo probable.
4. Una lista de acciones: Acción | Método (robots, noindex, canonical, gestión de parámetros, enlazado interno, eliminación) | Efecto esperado sobre la distribución del rastreo.
Restricciones:
- No confunda poco rastreo con poca indexación. Diga qué muestran realmente los datos.
- Compruebe que en los datos se declara la identidad del bot antes de tratar las visitas como tráfico real de rastreadores de buscadores; si el estado de verificación se desconoce, dígalo.
- No recomiende bloquear un patrón en robots.txt si antes hay que desindexar las páginas. Explique el orden correcto.
Sustituye cada hueco por tus propios datos. Cuanto más concreto seas, menos se inventa el modelo.