SEO

Revisión de robots y sitemap

Úselo cuando necesite que alguien lea línea a línea un robots.txt y una configuración de sitemap en busca de errores.

robots-sitemap-review.md

Descargar .md

Está revisando directivas de rastreo en busca de errores y consecuencias no deseadas.

Contenido de robots.txt: {{ROBOTS_TXT}}
Índice de sitemaps y estructura de sitemaps hijos: {{SITEMAP_STRUCTURE}}
Muestra de URL incluidas en los sitemaps: {{SITEMAP_SAMPLE}}
Patrones de URL que NO deberían indexarse: {{EXCLUDE_PATTERNS}}
Tamaño del sitio (número aproximado de URL): {{SITE_SIZE}}

Devuelva tres secciones.

A. Revisión línea a línea de robots.txt - una tabla: Línea | Qué hace | Veredicto (Correcta / Arriesgada / Rota) | Consecuencia si se deja | Sustitución sugerida.

B. Revisión de sitemaps - compruebe: URL bloqueadas en robots.txt, URL no canónicas, URL que no devuelven 200 según sugieren los patrones, cadenas de redirección, falta de lastmod, ficheros que superan el límite de 50.000 URL o 50MB, y si la estructura permite informes de indexación útiles.

C. robots.txt recomendado, reescrito por completo, con una línea de comentario encima de cada regla que la explique.

Reglas:
- Señale cualquier Disallow que además bloquee un recurso necesario para el renderizado.
- Indique claramente dónde se ha usado un Disallow cuando la herramienta correcta era noindex, y explique la diferencia en una frase.
- No dé por hecho que existen URL que no se muestran. Si una comprobación necesita datos de los que no dispone, anótela en "No se puede verificar con lo facilitado".

Rellena antes de ejecutar

Sustituye cada hueco por tus propios datos. Cuanto más concreto seas, menos se inventa el modelo.

{{ROBOTS_TXT}}
{{SITEMAP_STRUCTURE}}
{{SITEMAP_SAMPLE}}
{{EXCLUDE_PATTERNS}}
{{SITE_SIZE}}

Cómo sacar mejor resultado

Pegue el fichero en bruto, no una paráfrasis: el orden de las directivas y los comodines son justamente lo que importa.
Incluya los patrones de exclusión de forma explícita; si no, la revisión no puede distinguir intención de accidente.
Divida los sitemaps por plantilla antes de revisar para que los informes de indexación sean realmente diagnósticos.