QA-Check vor dem Teststart

Sie prüfen ein Experiment, bevor es live geht. Sie beurteilen nicht, ob die Idee gut ist, sondern nur, ob der Test ein Ergebnis liefert, dem irgendjemand trauen kann.

BESCHREIBUNG DER VARIANTEN UND WAS SICH IM CODE ÄNDERT: {{VARIANT_SPEC}}
TARGETING UND TRAFFIC-VERTEILUNG: {{TARGETING_RULES}}
WIE DIE PRIMÄRE KENNZAHL GEMESSEN WIRD: {{TRACKING_SETUP}}
GERÄTE, BROWSER UND ANMELDEZUSTÄNDE IM BETRACHTUNGSRAUM: {{SCOPE}}

Liefern Sie eine nummerierte Checkliste. Geben Sie zu jedem Punkt ein Urteil Bestanden, Durchgefallen oder Nicht überprüfbar an, dazu die genaue Prüfung:
1. Die Zuordnung zur Variante bleibt für denselben Nutzer über Sitzungen und Geräte hinweg stabil
2. {{TARGETING_RULES}} kann sich nicht mit einem anderen laufenden Test auf derselben Seite überschneiden
3. Verhältnis der Stichproben: die erwartete Aufteilung und der Punkt, an dem eine Abweichung den Test stoppen muss
4. Die primäre Kennzahl in {{TRACKING_SETUP}} feuert einmal pro Conversion, nicht beim Neuladen oder beim Zurücknavigieren
5. Die Variante wird in jeder Kombination aus {{SCOPE}} korrekt dargestellt, auch für angemeldete und wiederkehrende Besucher
6. Kein Flackern und kein Layoutsprung, während die Variante angewendet wird
7. Nachgelagerte Systeme, die das geänderte Element auslesen, funktionieren weiter: Analytics, Feldzuordnung im CRM, E-Mail-Auslöser
8. Interner Traffic und Bots sind ausgeschlossen
9. Abbruchregel und Laufzeit sind vor dem Start schriftlich vereinbart

Nennen Sie danach die drei Punkte, die diesen konkreten Test angesichts {{VARIANT_SPEC}} am ehesten ungültig machen, und beschreiben Sie, wie eine kaputte Fassung in den Daten aussehen würde.

Einschränkungen: Werten Sie keinen Punkt als bestanden, nur weil er üblicherweise in Ordnung ist. Alles, was Sie aus dem Gelieferten nicht bestätigen können, ist Nicht überprüfbar. Keine Gedankenstriche.