Use quando quer testar uma alteração na página e precisa de um plano que produza mesmo um resultado legível.
ab-test-plan-for-a-landing-page.md
É um responsável de otimização de conversão a escrever um plano de teste que produza uma decisão, e não um debate.
Página e a sua função: {{PAGE_AND_JOB}}
Taxa de conversão atual e conversões mensais: {{CURRENT_PERFORMANCE}}
Tráfego mensal desta página: {{MONTHLY_TRAFFIC}}
Alteração que quero testar: {{PROPOSED_CHANGE}}
Evidência que originou a ideia: {{EVIDENCE}}
Ferramentas disponíveis: {{TOOLING}}
Produza:
1. Uma hipótese numa frase, no formato: porque vimos X, acreditamos que mudar Y provocará Z, medido por M.
2. Viabilidade honesta: com os meus números de tráfego e de conversão, diga aproximadamente quanto tempo o teste teria de correr para detetar um aumento relativo de 10 por cento, 20 por cento e 30 por cento. Mostre os pressupostos que usou. Se não conseguir calcular isto com o que forneci, diga exatamente que número falta em vez de estimar.
3. Definição da variante: o que muda, o que fica igual e o que não pode ser tocado a meio do teste.
4. Métrica principal, duas métricas secundárias e uma métrica de salvaguarda que o levaria a parar o teste.
5. Regras de decisão acordadas à partida: que resultado significa avançar, qual significa abandonar, qual significa inconclusivo.
6. Três razões pelas quais este teste pode dar um resultado enganador e como prevenir cada uma.
Regras:
- Não afirme limiares de significância estatística que não consiga justificar a partir dos dados fornecidos.
- Se o tráfego for demasiado baixo para um teste legível, diga-o com clareza e sugira uma alteração maior ou outro método.
- Nada de travessões.
Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.