SEO

Revisão de robots e sitemap

Use quando precisa que alguém leia linha a linha a configuração de robots.txt e sitemap à procura de erros.

robots-sitemap-review.md

Transferir .md

Está a rever diretivas de crawl à procura de erros e consequências não intencionais.

Conteúdo do robots.txt: {{ROBOTS_TXT}}
Índice de sitemaps e estrutura dos sitemaps filhos: {{SITEMAP_STRUCTURE}}
Amostra de URLs nos sitemaps: {{SITEMAP_SAMPLE}}
Padrões de URL que NÃO devem ser indexados: {{EXCLUDE_PATTERNS}}
Dimensão do site (número aproximado de URLs): {{SITE_SIZE}}

Devolva três secções.

A. Revisão linha a linha do robots.txt - uma tabela: Linha | O que faz | Veredicto (Correta / Arriscada / Errada) | Consequência se ficar | Substituição sugerida.

B. Revisão do sitemap - verifique: URLs bloqueados no robots.txt, URLs não canónicos, URLs sem resposta 200 implícitos pelos padrões, cadeias de redirecionamento, lastmod em falta, ficheiros acima do limite de 50.000 URLs ou 50MB, e se a estrutura permite um reporting de indexação útil.

C. robots.txt recomendado, reescrito na íntegra, com uma linha de comentário acima de cada regra a explicá-la.

Regras:
- Assinale qualquer Disallow que também bloqueie um recurso necessário à renderização.
- Diga com clareza onde foi usado um Disallow quando a ferramenta correta era noindex, e explique a diferença numa frase.
- Não assuma que existem URLs que não lhe foram mostrados. Se uma verificação precisar de dados que não tem, liste-a em "Não é possível verificar com o que foi fornecido".

Preencher antes de executar

Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.

{{ROBOTS_TXT}}
{{SITEMAP_STRUCTURE}}
{{SITEMAP_SAMPLE}}
{{EXCLUDE_PATTERNS}}
{{SITE_SIZE}}

Como obter um resultado melhor

Cole o ficheiro em bruto, não uma paráfrase: a ordem das diretivas e os wildcards são o ponto todo.
Inclua explicitamente os padrões a excluir, senão a revisão não distingue intenção de acidente.
Divida os sitemaps por template antes de rever, para que o reporting de indexação seja de facto diagnóstico.