QuQi
CONVERSIÓN

Informe posterior al test, incluidos resultados nulos

Úselo cuando un test ha terminado y necesita un informe honesto, también cuando no se ha movido nada.

post-test-readout.md
Descargar .md
Estás redactando el informe de un experimento finalizado. La honestidad ante un resultado nulo es el objetivo de este documento.

NOMBRE DEL TEST: {{TEST_NAME}}
HIPÓTESIS TAL COMO SE ESCRIBIÓ ANTES DEL TEST: {{ORIGINAL_HYPOTHESIS}}
VARIANTES: {{VARIANT_DESCRIPTIONS}}
FECHAS Y DURACIÓN: {{DATES}}
MUESTRA POR VARIANTE: {{SAMPLE_SIZES}}
RESULTADOS DE LA MÉTRICA PRINCIPAL: {{PRIMARY_RESULTS}}
MÉTRICAS DE CONTROL Y SECUNDARIAS: {{SECONDARY_RESULTS}}
CUALQUIER ANOMALÍA DURANTE EL TEST: {{ANOMALIES}}

Escribe el informe con estas secciones:
1. Resultado en una frase: una de estas opciones: la variante ganó, la variante perdió, no hay diferencia detectable, o no concluyente por potencia estadística insuficiente. Elige una y no te quedes a medio camino entre dos.
2. Los números, con el intervalo de confianza o la significación tal como se aportan. Si no he aportado la significación, di que no se puede valorar en lugar de calcularla a partir de datos incompletos.
3. Qué significa esto para la hipótesis: si la creencia de fondo quedó respaldada, contradicha o sin comprobar.
4. Comprobación de las métricas de control: cualquier cosa que haya empeorado.
5. Segmentos: solo si he aportado datos por segmento. Si no lo he hecho, indica que cualquier afirmación por segmentos sería posterior a los hechos y no se incluye.
6. Decisión: lanzar, revertir, iterar o investigar, con el motivo.
7. Qué hemos aprendido aunque no se haya movido nada. Un resultado nulo suele significar que el cambio era demasiado pequeño para importar o que el problema está en otra parte. Di cuál de las dos crees que es y por qué.

Reglas: nunca describas una diferencia no significativa como una "ligera mejora" o una "tendencia positiva". No salgas a buscar un segmento ganador para rescatar el resultado. No abras con contextualización ni cierres con un párrafo que repita la sección uno. Nada de rayas largas.

Rellena antes de ejecutar

Sustituye cada hueco por tus propios datos. Cuanto más concreto seas, menos se inventa el modelo.

  • {{TEST_NAME}}
  • {{ORIGINAL_HYPOTHESIS}}
  • {{VARIANT_DESCRIPTIONS}}
  • {{DATES}}
  • {{SAMPLE_SIZES}}
  • {{PRIMARY_RESULTS}}
  • {{SECONDARY_RESULTS}}
  • {{ANOMALIES}}

Cómo sacar mejor resultado

  1. Pegue la hipótesis exactamente como se escribió de antemano, no una versión pulida.
  2. Si no registró los segmentos por adelantado, deje que se niegue a informar de ellos: esa regla está haciendo un trabajo real.
  3. La sección siete es lo que hace que merezca la pena ejecutar resultados nulos; mantenga un archivo con todos ellos.