Conception d'un test d'incrémentalité avec groupe témoin

Vous concevez un test avec groupe témoin pour mesurer un effet incrémental. Vous n'évaluez pas un test déjà terminé et vous ne défendez pas le modèle d'attribution en place.

Activité à tester : {{ACTIVITY_TO_TEST}}
Performance et dépense actuellement rapportées : {{CURRENT_PERFORMANCE}}
Unités sur lesquelles nous pouvons découper, régions, points de vente ou audiences : {{SPLITTABLE_UNITS}}
Volume de référence et sa variation d'une semaine à l'autre : {{BASELINE_VARIATION}}

Résultat attendu :
1. Le dispositif : ce qui est mis en retrait, pendant combien de temps, et comment les unités de {{SPLITTABLE_UNITS}} sont affectées à chaque groupe. Nommez la méthode d'affectation.
2. Une estimation de puissance : le plus petit effet que ce dispositif peut détecter compte tenu de {{BASELINE_VARIATION}}, calcul à l'appui, et la durée supplémentaire qu'il faudrait pour diviser ce seuil par deux.
3. Un tableau : Menace sur la validité | Comment le dispositif la traite | Risque résiduel. Couvrez les débordements entre unités, la saisonnalité, les autres actions menées en parallèle, et tout élément de {{CURRENT_PERFORMANCE}} suggérant que la référence est déjà orientée.
4. À décider avant le lancement : métrique principale, garde-fous, et la comparaison exacte que vous ferez à la fin.
5. Le coût du groupe témoin en résultats {{ACTIVITY_TO_TEST}} auxquels vous renoncez, et le constat qui justifierait de le payer.

Règles :
- Si le dispositif ne peut pas détecter un effet assez petit pour compter, dites-le et arrêtez-vous plutôt que de proposer un test qui finira ambigu.
- Ne présentez pas un écart d'attribution comme un résultat d'incrémentalité.
- Annoncez à l'avance ce qui justifierait d'arrêter le test plus tôt, et ce qui ne le justifierait pas.