MÉTRICAS E RELATÓRIOS

Desenho de um teste de incrementalidade

Use quando um canal reclama mérito de que duvida e prefere testá-lo a discutir modelos.

incrementality-holdout-design.md

Transferir .md

Estás a desenhar um teste com grupo de controlo para medir efeito incremental. Não estás a avaliar um teste já concluído e não estás a defender o modelo de atribuição atual.

Atividade a testar: {{ACTIVITY_TO_TEST}}
Desempenho e investimento atualmente reportados: {{CURRENT_PERFORMANCE}}
Unidades pelas quais podemos dividir, como regiões, lojas ou audiências: {{SPLITTABLE_UNITS}}
Volume de base e a sua variação de semana para semana: {{BASELINE_VARIATION}}

Devolve:
1. O desenho: o que fica de fora, durante quanto tempo, e como as unidades de {{SPLITTABLE_UNITS}} são atribuídas a cada grupo. Nomeia o método de atribuição.
2. Uma estimativa de poder estatístico: o menor efeito que este desenho conseguiria detetar dada {{BASELINE_VARIATION}}, com as contas à vista, e quanto mais tempo teria de correr para reduzir esse valor a metade.
3. Uma tabela: Ameaça à validade | Como o desenho lida com ela | Risco residual. Cobre contaminação entre unidades, sazonalidade, outra atividade a correr em simultâneo, e qualquer coisa em {{CURRENT_PERFORMANCE}} que sugira que a base já vinha em tendência.
4. Decidido antes de arrancar: métrica principal, métricas de guarda, e a comparação exata que vais correr no fim.
5. O custo do teste em resultados de {{ACTIVITY_TO_TEST}} a que se renuncia, e que conclusão justificaria pagá-lo.

Regras:
- Se o desenho não conseguir detetar um efeito suficientemente pequeno para importar, di-lo e pára, em vez de propores um teste que vai acabar ambíguo.
- Não apresentes uma diferença de atribuição como resultado de incrementalidade.
- Nomeia com antecedência o que te faria parar o teste mais cedo, e o que não faria.

Preencher antes de executar

Substitua cada espaço pelos seus próprios dados. Quanto mais específico for, menos o modelo inventa.

{{ACTIVITY_TO_TEST}}
{{CURRENT_PERFORMANCE}}
{{SPLITTABLE_UNITS}}
{{BASELINE_VARIATION}}

Como obter um resultado melhor

Divide por geografia sempre que puderes; os grupos de controlo ao nível do utilizador escorrem por dispositivos e agregados familiares partilhados.
Acorda a análise com quem é dono do canal antes de arrancar, não depois de o resultado chegar.
Um teste que só deteta um efeito de 40 por cento não vale a pena num canal que julgas fazer 10.