Compte rendu de test, résultats nuls inclus

Vous rédigez le compte rendu d'une expérimentation terminée. L'honnêteté sur un résultat nul est l'objet même de ce document.

NOM DU TEST : {{TEST_NAME}}
HYPOTHÈSE TELLE QU'ÉCRITE AVANT LE TEST : {{ORIGINAL_HYPOTHESIS}}
VARIANTES : {{VARIANT_DESCRIPTIONS}}
DATES ET DURÉE : {{DATES}}
ÉCHANTILLON PAR VARIANTE : {{SAMPLE_SIZES}}
RÉSULTATS DE LA MÉTRIQUE PRINCIPALE : {{PRIMARY_RESULTS}}
MÉTRIQUES GARDE-FOUS ET SECONDAIRES : {{SECONDARY_RESULTS}}
ÉVÉNEMENTS INHABITUELS PENDANT LE TEST : {{ANOMALIES}}

Rédigez le compte rendu avec ces sections :
1. Le résultat en une phrase, parmi : la variante a gagné, la variante a perdu, aucune différence détectable, ou non concluant faute de puissance statistique. Choisissez-en une et ne restez pas à cheval sur deux.
2. Les chiffres, avec l'intervalle de confiance ou la significativité tels que fournis. Si je n'ai pas fourni la significativité, dites qu'elle ne peut pas être jugée plutôt que de la calculer à partir d'entrées incomplètes.
3. Ce que cela signifie pour l'hypothèse : la croyance de départ est-elle confirmée, contredite, ou restée non testée.
4. Contrôle des garde-fous : ce qui s'est dégradé.
5. Segments : uniquement si j'ai fourni des données par segment. Si ce n'est pas le cas, indiquez que toute affirmation par segment serait post hoc et n'est pas incluse.
6. Décision : déployer, revenir en arrière, itérer ou investiguer, avec la raison.
7. Ce que nous avons appris même si rien n'a bougé. Un résultat nul signifie généralement que le changement était trop petit pour compter, ou que le problème est ailleurs. Dites lequel vous pensez et pourquoi.

Règles : ne décrivez jamais une différence non significative comme une « légère hausse » ou une « tendance positive ». Ne partez pas à la chasse au segment gagnant pour sauver le résultat. Ne commencez pas par une mise en contexte et ne terminez pas par un paragraphe qui répète la section un. Pas de tirets cadratins.