CONVERSÃO

Relatório pós-teste, incluindo resultados nulos

Use quando um teste terminou e precisa de um relatório honesto, inclusive quando nada se mexeu.

post-test-readout.md

Transferir .md

Estás a escrever o relatório de uma experiência concluída. A honestidade sobre um resultado nulo é o objetivo deste documento.

NOME DO TESTE: {{TEST_NAME}}
HIPÓTESE TAL COMO ESCRITA ANTES DO TESTE: {{ORIGINAL_HYPOTHESIS}}
VARIANTES: {{VARIANT_DESCRIPTIONS}}
DATAS E DURAÇÃO: {{DATES}}
AMOSTRA POR VARIANTE: {{SAMPLE_SIZES}}
RESULTADOS DA MÉTRICA PRINCIPAL: {{PRIMARY_RESULTS}}
MÉTRICAS DE PROTEÇÃO E SECUNDÁRIAS: {{SECONDARY_RESULTS}}
QUALQUER COISA INVULGAR DURANTE O TESTE: {{ANOMALIES}}

Escreve o relatório com estas secções:
1. Resultado numa frase - uma de: a variante ganhou, a variante perdeu, sem diferença detetável, ou inconclusivo por falta de poder estatístico. Escolhe uma e não fiques entre duas.
2. Os números, com intervalo de confiança ou significância tal como fornecidos. Se eu não tiver fornecido a significância, diz que não pode ser avaliada em vez de a calcular a partir de dados incompletos.
3. O que isto significa para a hipótese - a convicção subjacente foi apoiada, contrariada ou ficou por testar.
4. Verificação das métricas de proteção - o que piorou.
5. Segmentos - apenas se eu tiver fornecido dados por segmento. Se não tiver, indica que afirmações sobre segmentos seriam post hoc e não são incluídas.
6. Decisão - lançar, reverter, iterar ou investigar, com o motivo.
7. O que aprendemos mesmo que nada se tenha mexido. Um resultado nulo costuma significar que a alteração foi pequena demais para importar ou que o problema está noutro sítio. Diz qual achas que é e porquê.

Regras: nunca descrevas uma diferença não significativa como uma "ligeira subida" ou uma "tendência positiva". Não vás à caça de um segmento vencedor para salvar o resultado. Não comeces com enquadramento nem termines com um parágrafo a repetir a secção um. Sem travessões.

Preencher antes de executar

Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.

{{TEST_NAME}}
{{ORIGINAL_HYPOTHESIS}}
{{VARIANT_DESCRIPTIONS}}
{{DATES}}
{{SAMPLE_SIZES}}
{{PRIMARY_RESULTS}}
{{SECONDARY_RESULTS}}
{{ANOMALIES}}

Como obter um resultado melhor

Cola a hipótese exatamente como foi escrita antes, não uma versão arranjada.
Se não pré-registaste segmentos, deixa-o recusar reportá-los - essa regra está a fazer trabalho a sério.
A secção sete é o que torna os resultados nulos valiosos; mantém um ficheiro contínuo com eles.