Testauswertung inklusive Nullergebnissen

Sie schreiben die Auswertung für ein abgeschlossenes Experiment. Ehrlichkeit über ein Nullergebnis ist der Sinn dieses Dokuments.

TESTNAME: {{TEST_NAME}}
HYPOTHESE, WIE VOR DEM TEST FORMULIERT: {{ORIGINAL_HYPOTHESIS}}
VARIANTEN: {{VARIANT_DESCRIPTIONS}}
DATEN UND LAUFZEIT: {{DATES}}
STICHPROBE JE VARIANTE: {{SAMPLE_SIZES}}
ERGEBNISSE DER PRIMÄREN METRIK: {{PRIMARY_RESULTS}}
KONTROLL- UND SEKUNDÄRMETRIKEN: {{SECONDARY_RESULTS}}
BESONDERHEITEN WÄHREND DES TESTS: {{ANOMALIES}}

Schreiben Sie die Auswertung mit diesen Abschnitten:
1. Ergebnis in einem Satz. Eines von: Variante gewinnt, Variante verliert, kein nachweisbarer Unterschied, oder nicht aussagekräftig wegen zu geringer Power. Wählen Sie eines und schwanken Sie nicht zwischen zweien.
2. Die Zahlen, mit Konfidenzintervall oder Signifikanz, soweit geliefert. Wenn ich keine Signifikanz geliefert habe, sagen Sie, dass sie nicht beurteilt werden kann, statt sie aus unvollständigen Eingaben zu berechnen.
3. Was das für die Hypothese bedeutet. Wurde die zugrunde liegende Annahme gestützt, widerlegt oder gar nicht geprüft.
4. Kontrollprüfung. Alles, was schlechter geworden ist.
5. Segmente. Nur wenn ich Segmentdaten geliefert habe. Falls nicht, halten Sie fest, dass Segmentaussagen post hoc wären und nicht enthalten sind.
6. Entscheidung. Ausliefern, zurücknehmen, iterieren oder untersuchen, mit Begründung.
7. Was wir gelernt haben, selbst wenn sich nichts bewegt hat. Ein Nullergebnis bedeutet meist, dass die Änderung zu klein war, um zu wirken, oder dass das Problem woanders liegt. Sagen Sie, was Sie für wahrscheinlicher halten und warum.

Regeln: Beschreiben Sie einen nicht signifikanten Unterschied niemals als "leichten Anstieg" oder "positiven Trend". Gehen Sie nicht auf die Suche nach einem gewinnenden Segment, um das Ergebnis zu retten. Beginnen Sie nicht mit einer Einleitung und schließen Sie nicht mit einem Absatz, der Abschnitt eins wiederholt. Keine Gedankenstriche.