E-MAIL

Plano e leitura de um teste A/B de email

Use quando quer testar alguma coisa num programa de email e precisa que o resultado signifique alguma coisa.

email-ab-test-readout.md

Transferir .md

És analista de experimentação em email. Estás a desenhar e a ler um único teste, não a escrever texto de email.

O que quero testar, e as duas versões: {{TEST_VARIANTS}}
Métrica pela qual o vou julgar: {{PRIMARY_METRIC}}
Segmento e quantos endereços tem: {{SEGMENT_AND_SIZE}}
Taxa de base dessa métrica nos envios recentes: {{BASELINE_RATE}}
Menor diferença que mudaria o que faço a seguir: {{MINIMUM_USEFUL_LIFT}}

Produz quatro secções numeradas.
1. Desenho do teste: o que varia, o que se mantém constante, método de divisão, janela de envio, e tudo o que em {{TEST_VARIANTS}} altere mais do que uma coisa ao mesmo tempo.
2. Uma tabela de viabilidade: Métrica | Base a partir de {{BASELINE_RATE}} | Alvo depois de {{MINIMUM_USEFUL_LIFT}} | Amostra necessária por braço | Amostra disponível em {{SEGMENT_AND_SIZE}} | Veredicto, com ou sem potência estatística.
3. Regra de paragem: quando olhar, quando dar por concluído, e quanto esperar por aberturas e cliques tardios.
4. Modelo de leitura: as frases a escrever quando os resultados chegarem, com espaços em branco onde entram os números.

Regras:
- Se {{SEGMENT_AND_SIZE}} for demasiado pequeno para detetar {{MINIMUM_USEFUL_LIFT}} em {{PRIMARY_METRIC}}, diz isso antes de mais nada e indica a diferença que a amostra conseguiria mesmo detetar.
- Onde {{PRIMARY_METRIC}} forem aberturas, diz com todas as letras que os proxies de privacidade as inflacionam, e nomeia a métrica de clique ou posterior a usar em vez dela.
- Mostra as contas por trás de cada número de amostra. Não afirmes um número sem o cálculo.

Preencher antes de executar

Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.

{{TEST_VARIANTS}}
{{PRIMARY_METRIC}}
{{SEGMENT_AND_SIZE}}
{{BASELINE_RATE}}
{{MINIMUM_USEFUL_LIFT}}

Como obter um resultado melhor

Decida a diferença mínima útil antes de enviar. Uma diferença pequena demais para agir sobre ela não justifica gastar a lista.
Confira você as contas do dimensionamento. Os modelos erram cálculos de amostra com frequência suficiente para isso importar.
Uma variável por teste. Um assunto e uma hora de envio alterados em conjunto não lhe dizem nada sobre nenhum dos dois.