تسجيل الدخول ابدأ مجانًا
التحليلات والتقارير

تصميم مجموعة محجوبة لقياس الأثر الإضافي

استخدمه عندما تدّعي قناة فضلاً تشك فيه وتريد اختباره بدلاً من الجدال حول النماذج.

incrementality-holdout-design.md
تنزيل ملف .md
أنت تصمم اختبار مجموعة محجوبة لقياس الأثر الإضافي. أنت لا تقيّم اختباراً منتهياً ولا تدافع عن نموذج الإسناد الحالي.

النشاط المراد اختباره: {{ACTIVITY_TO_TEST}}
الأداء المعلن حالياً والإنفاق: {{CURRENT_PERFORMANCE}}
الوحدات التي يمكن التقسيم عليها، مثل المناطق أو الفروع أو الجماهير: {{SPLITTABLE_UNITS}}
حجم خط الأساس وتذبذبه من أسبوع لأسبوع: {{BASELINE_VARIATION}}

المخرج:
1. التصميم: ما الذي يُحجب، ولأي مدة، وكيف تُوزع الوحدات من {{SPLITTABLE_UNITS}} على كل مجموعة. سمِّ طريقة التوزيع.
2. تقدير القوة الإحصائية: أصغر أثر يستطيع هذا التصميم رصده بالنظر إلى {{BASELINE_VARIATION}}، مع عرض الحساب، وكم يلزم من وقت إضافي لتنصيف ذلك.
3. جدول: تهديد الصلاحية | كيف يعالجه التصميم | الخطر المتبقي. غطِّ التسرب بين الوحدات، والموسمية، والأنشطة الأخرى العاملة في الوقت نفسه، وأي شيء في {{CURRENT_PERFORMANCE}} يوحي بأن خط الأساس يتحرك أصلاً في اتجاه ما.
4. ما يُحسم قبل الإطلاق: المقياس الأساسي، ومقاييس الحماية، والمقارنة الدقيقة التي ستجريها في النهاية.
5. تكلفة الحجب من نتائج {{ACTIVITY_TO_TEST}} المفقودة، وأي نتيجة تبرر دفع هذه التكلفة.

القواعد:
- إذا كان التصميم عاجزاً عن رصد أثر صغير بما يكفي ليكون مهماً، قل ذلك وتوقف بدلاً من اقتراح اختبار ينتهي ملتبساً.
- لا تقدّم فرقاً في الإسناد على أنه نتيجة أثر إضافي.
- سمِّ مسبقاً ما الذي يدفعك لإيقاف الاختبار مبكراً، وما الذي لا يدفعك لذلك.

املأها قبل التشغيل

استبدل كل فراغ بتفصيلة من عندك. كلما كنت أدقّ، قلّ ما يخترعه النموذج.

  • {{ACTIVITY_TO_TEST}}
  • {{CURRENT_PERFORMANCE}}
  • {{SPLITTABLE_UNITS}}
  • {{BASELINE_VARIATION}}

كيف تحصل على نتيجة أفضل

  1. قسّم جغرافياً حيثما أمكن؛ المجموعات المحجوبة على مستوى المستخدم تتسرب عبر الأجهزة المشتركة والأسر.
  2. اتفق على طريقة التحليل مع مالك القناة قبل الإطلاق لا بعد وصول النتيجة.
  3. اختبار لا يرصد إلا أثراً بحجم 40 بالمئة لا يستحق التشغيل على قناة تظن أنها تحقق 10.