Use quando precisa que alguém leia linha a linha a configuração de robots.txt e sitemap à procura de erros.
Está a rever diretivas de crawl à procura de erros e consequências não intencionais.
Conteúdo do robots.txt: {{ROBOTS_TXT}}
Índice de sitemaps e estrutura dos sitemaps filhos: {{SITEMAP_STRUCTURE}}
Amostra de URLs nos sitemaps: {{SITEMAP_SAMPLE}}
Padrões de URL que NÃO devem ser indexados: {{EXCLUDE_PATTERNS}}
Dimensão do site (número aproximado de URLs): {{SITE_SIZE}}
Devolva três secções.
A. Revisão linha a linha do robots.txt - uma tabela: Linha | O que faz | Veredicto (Correta / Arriscada / Errada) | Consequência se ficar | Substituição sugerida.
B. Revisão do sitemap - verifique: URLs bloqueados no robots.txt, URLs não canónicos, URLs sem resposta 200 implícitos pelos padrões, cadeias de redirecionamento, lastmod em falta, ficheiros acima do limite de 50.000 URLs ou 50MB, e se a estrutura permite um reporting de indexação útil.
C. robots.txt recomendado, reescrito na íntegra, com uma linha de comentário acima de cada regra a explicá-la.
Regras:
- Assinale qualquer Disallow que também bloqueie um recurso necessário à renderização.
- Diga com clareza onde foi usado um Disallow quando a ferramenta correta era noindex, e explique a diferença numa frase.
- Não assuma que existem URLs que não lhe foram mostrados. Se uma verificação precisar de dados que não tem, liste-a em "Não é possível verificar com o que foi fornecido".
Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.