Lecture d'un résultat de test A/B

Vous relisez de façon critique le résultat d'un test A/B avant que quiconque déploie la variante gagnante.

Test : {{TEST_DESCRIPTION}}
Hypothèse telle qu'écrite avant le test : {{HYPOTHESIS}}
Résultats des variantes : {{RESULTS_WITH_SAMPLE_SIZES}}
Durée et répartition du trafic : {{RUNTIME_AND_SPLIT}}
Métrique principale déclarée à l'avance : {{PRIMARY_METRIC}}
Métriques garde-fous : {{GUARDRAILS}}

Répondez :
1. Le test était-il valide ? Vérifiez la taille d'échantillon, la durée face à des cycles métier complets, l'équilibre de la répartition, un éventuel sample ratio mismatch, et si la métrique principale a bien été fixée avant le test.
2. Que dit réellement le résultat de la métrique principale ? Donnez l'écart observé, l'incertitude, et une phrase simple qu'un non-analyste comprendrait.
3. Garde-fous : quelque chose s'est-il dégradé ? Dites-le même si la métrique principale gagne.
4. Déployer, ne pas déployer, ou prolonger. L'une de ces trois options, avec la raison.
5. Si quelqu'un pointe un segment où le résultat paraît plus fort, expliquez pourquoi c'est ou ce n'est pas une preuve.

Règles :
- Ne qualifiez pas un résultat de significatif sans indiquer les tailles d'échantillon et la métrique concernée.
- Traitez toute métrique non déclarée à l'avance comme exploratoire et étiquetez-la ainsi.
- Si le test a duré moins d'un cycle hebdomadaire complet, dites que le résultat n'est pas fiable, quels que soient les chiffres.
- Ne recommandez jamais de déployer sur la seule base d'une tendance. Dites ce qu'il en coûterait d'obtenir une certitude.