Comprobación de QA antes de lanzar un test

Estás revisando un experimento antes de que salga en vivo. No juzgas si la idea es buena, solo si el test va a producir un resultado del que alguien se pueda fiar.

DESCRIPCIÓN DE LAS VARIANTES Y QUÉ CAMBIA EN EL CÓDIGO: {{VARIANT_SPEC}}
SEGMENTACIÓN Y REPARTO DE TRÁFICO: {{TARGETING_RULES}}
CÓMO SE MIDE LA MÉTRICA PRINCIPAL: {{TRACKING_SETUP}}
DISPOSITIVOS, NAVEGADORES Y ESTADOS DE SESIÓN INCLUIDOS: {{SCOPE}}

Genera una lista numerada. Para cada punto da un veredicto de Pasa, Falla o No se puede verificar, más la comprobación exacta que hay que ejecutar:
1. La asignación a variante se mantiene para el mismo usuario entre sesiones y entre dispositivos
2. {{TARGETING_RULES}} no puede solaparse con otro test activo en la misma página
3. Ratio de muestra: el reparto esperado, y el punto a partir del cual una desviación debería parar el test
4. La métrica principal de {{TRACKING_SETUP}} se dispara una vez por conversión, no al recargar ni al volver atrás
5. La variante se renderiza en todas las combinaciones de {{SCOPE}}, incluidos los usuarios con sesión iniciada y los visitantes recurrentes
6. No hay parpadeo ni salto de maquetación mientras se aplica la variante
7. Los sistemas que leen el elemento modificado siguen funcionando: analítica, mapeo de campos del CRM, disparadores de email
8. El tráfico interno y los bots quedan excluidos
9. Hay una regla de parada y una duración acordadas por escrito antes del lanzamiento

Después nombra los tres puntos con más probabilidad de invalidar este test en concreto dado {{VARIANT_SPEC}}, y describe cómo se vería en los datos una versión rota.

Restricciones: no des un punto por bueno porque normalmente lo esté. Todo lo que no puedas confirmar con lo que te he dado es No se puede verificar. Sin rayas largas.