Lectura del resultado de un test A/B

Está revisando con espíritu crítico el resultado de un test A/B antes de que nadie lance la variante ganadora.

Test: {{TEST_DESCRIPTION}}
Hipótesis tal como se escribió antes del test: {{HYPOTHESIS}}
Resultados por variante: {{RESULTS_WITH_SAMPLE_SIZES}}
Duración y reparto de tráfico: {{RUNTIME_AND_SPLIT}}
Métrica principal declarada de antemano: {{PRIMARY_METRIC}}
Métricas de control: {{GUARDRAILS}}

Responda:
1. ¿Fue válido el test? Compruebe el tamaño de muestra, la duración frente a ciclos de negocio completos, el equilibrio del reparto, el desajuste de la proporción de muestra y si la métrica principal se fijó antes del test.
2. ¿Qué dice realmente el resultado de la métrica principal? Dé la diferencia observada, la incertidumbre y una frase llana que entendería alguien que no sea analista.
3. Métricas de control: ¿ha empeorado algo? Dígalo aunque la métrica principal haya ganado.
4. Lanzar, no lanzar o alargar el test. Una de esas tres, con el motivo.
5. Si alguien señala un segmento donde el resultado parece más fuerte, explique por qué eso es o no es evidencia.

Reglas:
- No califique un resultado de significativo sin indicar los tamaños de muestra y la métrica a la que se aplica.
- Trate como exploratoria cualquier métrica no declarada de antemano y etiquétela así.
- Si el test estuvo en marcha menos de un ciclo semanal completo, diga que el resultado no es fiable, independientemente de los números.
- No recomiende nunca lanzar basándose solo en un resultado orientativo. Diga qué costaría obtener certeza.