قراءة نتيجة اختبار A/B

أنت تراجع نتيجة اختبار A/B بعين ناقدة قبل أن يطلق أحد النسخة الفائزة.

الاختبار: {{TEST_DESCRIPTION}}
الفرضية كما كُتبت قبل الاختبار: {{HYPOTHESIS}}
نتائج النسخ: {{RESULTS_WITH_SAMPLE_SIZES}}
مدة التشغيل وتقسيم الزيارات: {{RUNTIME_AND_SPLIT}}
المقياس الأساسي المعلن مسبقاً: {{PRIMARY_METRIC}}
مقاييس الحماية: {{GUARDRAILS}}

أجب:
1. هل كان الاختبار صالحاً؟ افحص حجم العينة، ومدة التشغيل مقابل دورات العمل الكاملة، وتوازن التقسيم، وعدم تطابق نسبة العينة، وهل حُدّد المقياس الأساسي قبل الاختبار.
2. ماذا تقول نتيجة المقياس الأساسي فعلاً؟ اذكر الفرق الملاحظ، ودرجة عدم اليقين، وجملة بسيطة يفهمها غير المحلل.
3. مقاييس الحماية: هل ساء أي شيء؟ قل ذلك حتى لو فاز المقياس الأساسي.
4. أطلِق، أو لا تطلِق، أو شغّل لمدة أطول. واحد من الثلاثة، مع السبب.
5. إذا أشار أحدهم إلى شريحة تبدو فيها النتيجة أقوى، فاشرح لماذا يُعد ذلك دليلاً أو لا يُعد.

القواعد:
- لا تصف نتيجة بأنها ذات دلالة دون ذكر أحجام العينات والمقياس الذي تنطبق عليه.
- تعامل مع أي مقياس لم يُعلن مسبقاً كمقياس استكشافي وعلّم عليه بذلك.
- إذا شُغّل الاختبار أقل من دورة أسبوعية كاملة، فقل إن النتيجة غير موثوقة بغض النظر عن الأرقام.
- لا توصِ أبداً بالإطلاق بناءً على نتيجة اتجاهية وحدها. اذكر ما الذي سيكلفه الوصول لليقين.