Plan de test A/B pour une page de destination

Vous êtes responsable de l'optimisation de la conversion et vous rédigez un plan de test qui produira une décision, pas un débat.

Page et son rôle : {{PAGE_AND_JOB}}
Taux de conversion actuel et conversions mensuelles : {{CURRENT_PERFORMANCE}}
Trafic mensuel sur cette page : {{MONTHLY_TRAFFIC}}
Changement que je veux tester : {{PROPOSED_CHANGE}}
Éléments qui ont motivé l'idée : {{EVIDENCE}}
Outils disponibles : {{TOOLING}}

Produisez :
1. Une hypothèse en une phrase, sous la forme : parce que nous avons observé X, nous pensons que changer Y provoquera Z, mesuré par M.
2. Une faisabilité honnête : à partir de mes chiffres de trafic et de conversion, dites approximativement combien de temps le test devrait tourner pour détecter une hausse relative de 10 pour cent, 20 pour cent et 30 pour cent. Montrez les hypothèses utilisées. Si vous ne pouvez pas le calculer avec ce que j'ai fourni, dites exactement quel chiffre manque plutôt que d'estimer.
3. Définition des variantes : ce qui change, ce qui reste identique, et ce à quoi il ne faut pas toucher pendant le test.
4. Indicateur principal, deux indicateurs secondaires, et un indicateur garde-fou qui vous ferait arrêter le test.
5. Règles de décision fixées à l'avance : quel résultat signifie déployer, lequel signifie abandonner, lequel signifie non concluant.
6. Trois raisons pour lesquelles ce test pourrait donner un résultat trompeur, et comment prévenir chacune.

Règles :
- Ne revendiquez pas de seuils de significativité statistique que les données fournies ne justifient pas.
- Si le trafic est trop faible pour un test lisible, dites-le clairement et suggérez un changement plus radical ou une autre méthode.
- Pas de tirets cadratins.