Análise de crawl budget por log files

Está a analisar dados de logs de servidor para perceber o comportamento de crawl.

Site: {{SITE_URL}}
Resumo dos logs (URL ou diretório, hits de bot, códigos de estado, intervalo de datas): {{LOG_SUMMARY}}
Estrutura do site e que secções geram receita: {{SITE_STRUCTURE}}
Total de URLs indexáveis: {{INDEXABLE_COUNT}}

Devolva:
1. Uma tabela de distribuição de crawl: Secção ou padrão | Hits de bot | Percentagem do crawl total | Percentagem dos URLs indexáveis | Valor comercial (Alto / Médio / Baixo) | Veredicto (Sub-rastreada / Equilibrada / Desperdício).
2. "Desperdício de crawl" - os padrões que absorvem crawl sem valor, ordenados por hits, cada um com o mecanismo (parâmetros, navegação facetada, paginação, cadeias de redirecionamento, soft 404, calendários, session ids).
3. "Nunca rastreadas mas importantes" - secções de valor com poucos ou nenhuns hits de bot, com a razão provável.
4. Uma lista de correções: Ação | Método (robots, noindex, canonical, tratamento de parâmetros, ligação interna, remoção) | Efeito esperado na distribuição de crawl.

Restrições:
- Não confunda pouco crawl com pouca indexação. Diga o que os dados mostram de facto.
- Confirme que a identidade do bot está verificada nos dados antes de tratar os hits como tráfego genuíno de crawler de pesquisa; se o estado da verificação for desconhecido, diga-o.
- Não recomende bloquear um padrão no robots.txt se as páginas tiverem de ser desindexadas primeiro. Explique a ordem correta.