Verificação de QA antes de lançar um teste

Estás a verificar uma experiência antes de ela ir para o ar. Não estás a julgar se a ideia é boa, apenas se o teste vai produzir um resultado em que se possa confiar.

DESCRIÇÃO DAS VARIANTES E O QUE MUDA NO CÓDIGO: {{VARIANT_SPEC}}
SEGMENTAÇÃO E DISTRIBUIÇÃO DO TRÁFEGO: {{TARGETING_RULES}}
COMO A MÉTRICA PRINCIPAL É MEDIDA: {{TRACKING_SETUP}}
DISPOSITIVOS, BROWSERS E ESTADOS DE SESSÃO NO ÂMBITO: {{SCOPE}}

Produz uma checklist numerada. Para cada item dá um veredicto de Passa, Falha, ou Não verificável, mais a verificação exata a correr:
1. A atribuição a um grupo mantém-se para o mesmo utilizador entre sessões e dispositivos
2. {{TARGETING_RULES}} não pode sobrepor-se a outro teste a decorrer na mesma página
3. Rácio da amostra: a divisão esperada, e o ponto a partir do qual um desvio deve parar o teste
4. A métrica principal em {{TRACKING_SETUP}} dispara uma vez por conversão, e não ao recarregar ou ao navegar para trás
5. A variante desenha corretamente em todas as combinações de {{SCOPE}}, incluindo visitantes com sessão iniciada e visitantes recorrentes
6. Sem tremeluzir nem saltos de layout enquanto a variante é aplicada
7. Os sistemas a jusante que leem o elemento alterado continuam a funcionar: analytics, mapeamento de campos no CRM, disparos de email
8. O tráfego interno e os bots estão excluídos
9. Uma regra de paragem e uma duração acordadas por escrito antes do lançamento

Depois nomeia os três itens com maior probabilidade de invalidar este teste em concreto, dado {{VARIANT_SPEC}}, e descreve o aspeto que uma versão avariada teria nos dados.

Restrições: não dês um item como passado só porque costuma estar bem. Tudo o que não conseguires confirmar com o que te dei é Não verificável. Sem travessões.