Iniciar sesión Empezar gratis
ANALÍTICA E INFORMES

Diseño de un holdout de incrementalidad

Úselo cuando un canal se atribuya un mérito del que dude y prefiera medirlo antes que discutir sobre modelos.

incrementality-holdout-design.md
Descargar .md
Está diseñando un test de holdout para medir el efecto incremental. No evalúa un test ya terminado y no defiende el modelo de atribución actual.

Actividad que hay que medir: {{ACTIVITY_TO_TEST}}
Rendimiento e inversión reportados hoy: {{CURRENT_PERFORMANCE}}
Unidades sobre las que podemos dividir, como regiones, tiendas o audiencias: {{SPLITTABLE_UNITS}}
Volumen base y su variación de una semana a otra: {{BASELINE_VARIATION}}

Salida:
1. El diseño: qué se deja fuera, durante cuánto tiempo, y cómo se asignan a cada grupo las unidades de {{SPLITTABLE_UNITS}}. Nombre el método de asignación.
2. Una estimación de potencia: el efecto más pequeño que este diseño podría detectar dada {{BASELINE_VARIATION}}, con la aritmética a la vista, y cuánto más tendría que durar para reducirlo a la mitad.
3. Una tabla: Amenaza a la validez | Cómo la aborda el diseño | Riesgo residual. Cubra el contagio entre unidades, la estacionalidad, otras acciones que corran a la vez, y cualquier señal en {{CURRENT_PERFORMANCE}} de que la línea base ya viene con tendencia.
4. Decidido antes de arrancar: métrica principal, métricas de guardia, y la comparación exacta que va a hacer al final.
5. El coste del holdout en resultados de {{ACTIVITY_TO_TEST}} a los que renuncia, y qué hallazgo justificaría pagarlo.

Reglas:
- Si el diseño no puede detectar un efecto lo bastante pequeño como para importar, dígalo y pare ahí, en vez de proponer un test que va a acabar en ambigüedad.
- No presente una diferencia de atribución como un resultado de incrementalidad.
- Diga por adelantado qué le haría parar el test antes de tiempo, y qué no.

Rellena antes de ejecutar

Sustituye cada hueco por tus propios datos. Cuanto más concreto seas, menos se inventa el modelo.

  • {{ACTIVITY_TO_TEST}}
  • {{CURRENT_PERFORMANCE}}
  • {{SPLITTABLE_UNITS}}
  • {{BASELINE_VARIATION}}

Cómo sacar mejor resultado

  1. Divida por geografía siempre que pueda; los holdouts a nivel de usuario se filtran por dispositivos y hogares compartidos.
  2. Acuerde el análisis con quien lleva el canal antes de arrancar, no cuando ya ha llegado el resultado.
  3. Un test que solo detecta un efecto del 40 por ciento no merece la pena en un canal que cree que hace un 10.