Diseñar una prueba de SEO con grupo de control

El antes y después sobre un grupo de páginas no es evidencia, porque la estacionalidad, las actualizaciones core y otras entregas mueven a la vez las páginas tratadas y todo lo demás. La corrección evidente, reservar unas cuantas páginas como control, falla cuando el control se elige a mano y acaba siendo sistemáticamente distinto del grupo tratado. Esto sirve cuando un cambio a nivel de plantilla puede aplicarse a unas URL y retenerse en otras a una escala de unos cientos de páginas; por debajo de eso, asume que estás haciendo un juicio profesional y dilo, en lugar de disfrazarlo de prueba.

El archivo de la habilidad

---
name: organic-holdout-test-design
description: Úsala cuando alguien quiera pruebas de que un cambio de SEO causó un resultado y un gráfico de antes y después no vaya a zanjar la discusión.
---

# Diseñar una prueba de SEO con grupo de control

El antes y después sobre un grupo de páginas no es evidencia, porque la estacionalidad, las actualizaciones core y otras entregas mueven a la vez las páginas tratadas y todo lo demás. La corrección evidente, reservar unas cuantas páginas como control, falla cuando el control se elige a mano y acaba siendo sistemáticamente distinto del grupo tratado. Esto sirve cuando un cambio a nivel de plantilla puede aplicarse a unas URL y retenerse en otras a una escala de unos cientos de páginas; por debajo de eso, asume que estás haciendo un juicio profesional y dilo, en lugar de disfrazarlo de prueba.

## Qué necesitas antes

- un cambio que se pueda aplicar a unas URL y retener en otras sin romper el sitio
- al menos unos cientos de URL comparables, idealmente de una misma plantilla
- clics e impresiones diarios por URL de Search Console de las 8 semanas previas a la prueba
- la duración de la prueba y la única métrica de éxito, por escrito antes de arrancar

## Método

1. Fija la URL como unidad de asignación y comprueba que las URL candidatas son realmente comparables: misma plantilla, rango de impresiones parecido, intención parecida. Un conjunto mezclado produce un grupo de control que se desvía por motivos propios.
2. Aleatoriza la asignación en lugar de elegir a mano las páginas de control, y verifica después el equilibrio sobre las 8 semanas de impresiones previas. Si los dos brazos ya difieren antes de que toques nada, vuelve a barajar y compruébalo otra vez.
3. Calcula el efecto mínimo detectable a partir de la varianza del periodo previo antes de lanzar. Muchas pruebas sobre una sola plantilla no pueden detectar nada por debajo de aproximadamente el 10 por ciento, y saberlo de antemano te evita gastar seis semanas para no aprender nada.
4. Publica el cambio en el brazo tratado en un solo día, y no publiques nada más que afecte solo a un brazo. Una entrega que toca los dos brazos es sobrevivible; una que toca uno solo termina la prueba.
5. Empieza la ventana de medición en el nuevo rastreo, no en el despliegue. Contar desde la fecha de despliegue mete dentro días en los que el cambio aún no estaba en el índice y arrastra el efecto medido hacia cero.
6. Compara el brazo tratado con el de control como una proporción a lo largo del tiempo, y no como dos cifras de antes y después por separado. La proporción absorbe la estacionalidad y la volatilidad de las actualizaciones, que es justamente la razón de ser del control.
7. Informa del efecto como un intervalo y publica el resultado aunque sea nulo. Alargar la prueba hasta que las líneas se separen la convierte en la búsqueda de una semana favorable.

## Qué produce esto

Un registro de prueba de dos páginas que recoja el método de aleatorización, la comprobación de equilibrio previo, el efecto mínimo detectable y un resultado expresado como intervalo.

## Dónde falla esto

- Usar un control temporal, las mismas páginas antes y después, que no puede separar tu cambio de cualquier otra cosa que pasara ese mes
- Parar en cuanto las dos líneas se separan, lo que captura el ruido en su punto más amplio y lo presenta como una victoria
- Probar sobre las páginas que más ganas tienes de arreglar, con lo que el brazo tratado es un conjunto de casos atípicos y el resultado no se traslada al resto de la plantilla
- Ejecutar dos pruebas sobre conjuntos de URL solapados, tras lo cual ningún resultado se puede atribuir a ninguno de los dos cambios

---

De la biblioteca de habilidades de QuQi - https://www.quqi.io/es/skills/organic-holdout-test-design

Qué necesitas antes

• un cambio que se pueda aplicar a unas URL y retener en otras sin romper el sitio
• al menos unos cientos de URL comparables, idealmente de una misma plantilla
• clics e impresiones diarios por URL de Search Console de las 8 semanas previas a la prueba
• la duración de la prueba y la única métrica de éxito, por escrito antes de arrancar

Método

1. 01 Fija la URL como unidad de asignación y comprueba que las URL candidatas son realmente comparables: misma plantilla, rango de impresiones parecido, intención parecida. Un conjunto mezclado produce un grupo de control que se desvía por motivos propios.
2. 02 Aleatoriza la asignación en lugar de elegir a mano las páginas de control, y verifica después el equilibrio sobre las 8 semanas de impresiones previas. Si los dos brazos ya difieren antes de que toques nada, vuelve a barajar y compruébalo otra vez.
3. 03 Calcula el efecto mínimo detectable a partir de la varianza del periodo previo antes de lanzar. Muchas pruebas sobre una sola plantilla no pueden detectar nada por debajo de aproximadamente el 10 por ciento, y saberlo de antemano te evita gastar seis semanas para no aprender nada.
4. 04 Publica el cambio en el brazo tratado en un solo día, y no publiques nada más que afecte solo a un brazo. Una entrega que toca los dos brazos es sobrevivible; una que toca uno solo termina la prueba.
5. 05 Empieza la ventana de medición en el nuevo rastreo, no en el despliegue. Contar desde la fecha de despliegue mete dentro días en los que el cambio aún no estaba en el índice y arrastra el efecto medido hacia cero.
6. 06 Compara el brazo tratado con el de control como una proporción a lo largo del tiempo, y no como dos cifras de antes y después por separado. La proporción absorbe la estacionalidad y la volatilidad de las actualizaciones, que es justamente la razón de ser del control.
7. 07 Informa del efecto como un intervalo y publica el resultado aunque sea nulo. Alargar la prueba hasta que las líneas se separen la convierte en la búsqueda de una semana favorable.

Qué produce esto

Un registro de prueba de dos páginas que recoja el método de aleatorización, la comprobación de equilibrio previo, el efecto mínimo detectable y un resultado expresado como intervalo.

Dónde falla esto

• Usar un control temporal, las mismas páginas antes y después, que no puede separar tu cambio de cualquier otra cosa que pasara ese mes
• Parar en cuanto las dos líneas se separan, lo que captura el ruido en su punto más amplio y lo presenta como una victoria
• Probar sobre las páginas que más ganas tienes de arreglar, con lo que el brazo tratado es un conjunto de casos atípicos y el resultado no se traslada al resto de la plantilla
• Ejecutar dos pruebas sobre conjuntos de URL solapados, tras lo cual ningún resultado se puede atribuir a ninguno de los dos cambios

Usa esta skill en tu propia IA

El archivo es markdown simple, con el nombre y el disparador en su frontmatter. Cuando un asistente sabe cargar skills por su cuenta, es ese frontmatter lo que lee para decidir que esta le aplica.

Más en Analítica e informes