Desenhar um Teste de SEO com Grupo de Controlo

Antes e depois num grupo de páginas não é prova, porque a sazonalidade, as core updates e outros lançamentos movem em conjunto as páginas tratadas e todas as restantes. A correção óbvia, reter algumas páginas como controlo, falha quando o controlo é escolhido à mão e acaba sistematicamente diferente do conjunto tratado. Isto aplica-se quando uma alteração ao nível do template pode ser aplicada a uns URLs e retida noutros a uma escala de algumas centenas de páginas; abaixo disso, aceite que está a fazer um juízo e diga-o em vez de o vestir de teste.

O ficheiro da competência

---
name: organic-holdout-test-design
description: Use quando alguém quer prova de que uma alteração de SEO causou um resultado e um gráfico de antes e depois não vai resolver a discussão.
---

# Desenhar um Teste de SEO com Grupo de Controlo

Antes e depois num grupo de páginas não é prova, porque a sazonalidade, as core updates e outros lançamentos movem em conjunto as páginas tratadas e todas as restantes. A correção óbvia, reter algumas páginas como controlo, falha quando o controlo é escolhido à mão e acaba sistematicamente diferente do conjunto tratado. Isto aplica-se quando uma alteração ao nível do template pode ser aplicada a uns URLs e retida noutros a uma escala de algumas centenas de páginas; abaixo disso, aceite que está a fazer um juízo e diga-o em vez de o vestir de teste.

## O que precisa primeiro

- uma alteração que possa ser aplicada a uns URLs e retida noutros sem partir o site
- pelo menos algumas centenas de URLs comparáveis, idealmente de um só template
- cliques e impressões diários do Search Console por URL nas 8 semanas anteriores ao teste
- a duração do teste e a métrica única de sucesso, escritas antes do arranque

## Método

1. Defina o URL como unidade de atribuição e verifique se os URLs candidatos são genuinamente comparáveis: mesmo template, intervalo de impressões semelhante, intenção semelhante. Um conjunto misturado produz um grupo de controlo que deriva por razões próprias.
2. Aleatorize a atribuição em vez de escolher as páginas de controlo à mão, e depois verifique o equilíbrio nas 8 semanas de impressões do período prévio. Se os dois braços já diferem antes de mexer em seja o que for, volte a baralhar e verifique outra vez.
3. Calcule o efeito mínimo detetável a partir da variância do período prévio antes de arrancar. Muitos testes de template único não conseguem detetar nada abaixo de cerca de 10 por cento, e saber isso à partida evita gastar seis semanas para não aprender nada.
4. Coloque a alteração no braço tratado num único dia, e não lance mais nada que toque apenas num dos braços. Um lançamento que atravessa os dois braços é sobrevivível; um que atinge só um acaba com o teste.
5. Comece a janela de medição no novo rastreio, e não no deploy. Contar a partir da data de deploy mistura dias em que a alteração ainda não estava no índice e puxa o efeito medido para zero.
6. Compare tratado contra controlo como um rácio ao longo do tempo, e não como dois números separados de antes e depois. O rácio absorve a sazonalidade e a volatilidade das atualizações, que é toda a razão pela qual o controlo existe.
7. Reporte o efeito como um intervalo e publique o resultado mesmo quando é nulo. Prolongar o teste até as linhas se separarem transforma-o numa procura por uma semana favorável.

## O que isto produz

Um registo de teste de duas páginas cobrindo o método de aleatorização, a verificação de equilíbrio no período prévio, o efeito mínimo detetável e um resultado apresentado como intervalo.

## Onde isto corre mal

- Usar um controlo temporal, as mesmas páginas antes e depois, que não consegue separar a sua alteração de tudo o resto que aconteceu nesse mês
- Parar no momento em que as duas linhas se separam, o que apanha o ruído no seu ponto mais largo e o reporta como vitória
- Testar nas páginas que mais quer corrigir, ficando o braço tratado com um conjunto de casos atípicos cujo resultado não se transfere para o resto do template
- Correr dois testes sobre conjuntos de URLs sobrepostos, após o que nenhum dos resultados pode ser atribuído a qualquer das alterações

---

Da biblioteca de competências da QuQi - https://www.quqi.io/pt/skills/organic-holdout-test-design

O que precisa primeiro

• uma alteração que possa ser aplicada a uns URLs e retida noutros sem partir o site
• pelo menos algumas centenas de URLs comparáveis, idealmente de um só template
• cliques e impressões diários do Search Console por URL nas 8 semanas anteriores ao teste
• a duração do teste e a métrica única de sucesso, escritas antes do arranque

Método

1. 01 Defina o URL como unidade de atribuição e verifique se os URLs candidatos são genuinamente comparáveis: mesmo template, intervalo de impressões semelhante, intenção semelhante. Um conjunto misturado produz um grupo de controlo que deriva por razões próprias.
2. 02 Aleatorize a atribuição em vez de escolher as páginas de controlo à mão, e depois verifique o equilíbrio nas 8 semanas de impressões do período prévio. Se os dois braços já diferem antes de mexer em seja o que for, volte a baralhar e verifique outra vez.
3. 03 Calcule o efeito mínimo detetável a partir da variância do período prévio antes de arrancar. Muitos testes de template único não conseguem detetar nada abaixo de cerca de 10 por cento, e saber isso à partida evita gastar seis semanas para não aprender nada.
4. 04 Coloque a alteração no braço tratado num único dia, e não lance mais nada que toque apenas num dos braços. Um lançamento que atravessa os dois braços é sobrevivível; um que atinge só um acaba com o teste.
5. 05 Comece a janela de medição no novo rastreio, e não no deploy. Contar a partir da data de deploy mistura dias em que a alteração ainda não estava no índice e puxa o efeito medido para zero.
6. 06 Compare tratado contra controlo como um rácio ao longo do tempo, e não como dois números separados de antes e depois. O rácio absorve a sazonalidade e a volatilidade das atualizações, que é toda a razão pela qual o controlo existe.
7. 07 Reporte o efeito como um intervalo e publique o resultado mesmo quando é nulo. Prolongar o teste até as linhas se separarem transforma-o numa procura por uma semana favorável.

O que isto produz

Um registo de teste de duas páginas cobrindo o método de aleatorização, a verificação de equilíbrio no período prévio, o efeito mínimo detetável e um resultado apresentado como intervalo.

Onde isto corre mal

• Usar um controlo temporal, as mesmas páginas antes e depois, que não consegue separar a sua alteração de tudo o resto que aconteceu nesse mês
• Parar no momento em que as duas linhas se separam, o que apanha o ruído no seu ponto mais largo e o reporta como vitória
• Testar nas páginas que mais quer corrigir, ficando o braço tratado com um conjunto de casos atípicos cujo resultado não se transfere para o resto do template
• Correr dois testes sobre conjuntos de URLs sobrepostos, após o que nenhum dos resultados pode ser atribuído a qualquer das alterações

Use esta skill na sua própria IA

O ficheiro é markdown simples, com o nome e o gatilho no frontmatter. Quando um assistente consegue carregar skills sozinho, é esse frontmatter que lê para decidir que esta se aplica.

Mais em Métricas e relatórios