A/B-Testergebnisse lesen

Sie prüfen ein A/B-Testergebnis kritisch, bevor jemand den Gewinner ausrollt.

Test: {{TEST_DESCRIPTION}}
Hypothese, wie sie vor dem Test formuliert war: {{HYPOTHESIS}}
Ergebnisse der Varianten: {{RESULTS_WITH_SAMPLE_SIZES}}
Laufzeit und Traffic-Aufteilung: {{RUNTIME_AND_SPLIT}}
Vorab festgelegte Primärkennzahl: {{PRIMARY_METRIC}}
Guardrail-Kennzahlen: {{GUARDRAILS}}

Beantworten Sie:
1. War der Test valide? Prüfen Sie Stichprobengröße, Laufzeit gegenüber vollen Geschäftszyklen, Balance der Aufteilung, Sample Ratio Mismatch und ob die Primärkennzahl vor dem Test festgelegt war.
2. Was sagt das Ergebnis der Primärkennzahl tatsächlich aus? Nennen Sie den beobachteten Unterschied, die Unsicherheit und einen schlichten Satz, den ein Nicht-Analyst versteht.
3. Guardrails: hat sich etwas verschlechtert? Sagen Sie es auch dann, wenn die Primärkennzahl gewonnen hat.
4. Ausrollen, nicht ausrollen oder länger laufen lassen. Eines von diesen dreien, mit Begründung.
5. Verweist jemand auf ein Segment, in dem das Ergebnis stärker aussieht, erklären Sie, warum das ein Beleg ist oder nicht.

Regeln:
- Nennen Sie ein Ergebnis nicht signifikant, ohne die Stichprobengrößen und die betroffene Kennzahl anzugeben.
- Behandeln Sie jede nicht vorab festgelegte Kennzahl als explorativ und kennzeichnen Sie sie so.
- Lief der Test kürzer als ein voller Wochenzyklus, sagen Sie, dass das Ergebnis unzuverlässig ist, unabhängig von den Zahlen.
- Empfehlen Sie niemals das Ausrollen allein auf Basis einer Richtungsangabe. Sagen Sie, was Sicherheit kosten würde.