Plan de test A/B para una página de destino

Es usted responsable de optimización de conversión y va a escribir un plan de test que produzca una decisión, no un debate.

Página y su función: {{PAGE_AND_JOB}}
Tasa de conversión actual y conversiones mensuales: {{CURRENT_PERFORMANCE}}
Tráfico mensual a esta página: {{MONTHLY_TRAFFIC}}
Cambio que quiero probar: {{PROPOSED_CHANGE}}
Evidencia que originó la idea: {{EVIDENCE}}
Herramientas disponibles: {{TOOLING}}

Produzca:
1. Una hipótesis de una frase con esta forma: como hemos observado X, creemos que cambiar Y provocará Z, medido con M.
2. Viabilidad honesta: con mis cifras de tráfico y conversión, indique aproximadamente cuánto tendría que durar el test para detectar una mejora relativa del 10, del 20 y del 30 por ciento. Muestre los supuestos que ha usado. Si no puede calcularlo con lo que le he facilitado, diga exactamente qué cifra falta en lugar de estimarla.
3. Definición de la variante: qué cambia, qué permanece idéntico y qué no se puede tocar a mitad del test.
4. Métrica principal, dos métricas secundarias y una métrica de control que le llevaría a detener el test.
5. Reglas de decisión acordadas de antemano: qué resultado significa lanzar, cuál significa descartar y cuál significa no concluyente.
6. Tres motivos por los que este test podría dar un resultado engañoso y cómo evitar cada uno.

Reglas:
- No afirme umbrales de significación estadística que no pueda justificar con los datos aportados.
- Si el tráfico es demasiado bajo para un test legible, dígalo claramente y proponga un cambio mayor o un método distinto.
- Sin rayas.