Concevoir un test SEO avec groupe témoin

Un avant/après sur un groupe de pages n'est pas une preuve, car la saisonnalité, les core updates et les autres livraisons font bouger ensemble les pages traitées et tout le reste. La correction évidente, garder quelques pages de côté comme témoin, échoue quand le témoin est choisi à la main et finit systématiquement différent du groupe traité. Cela s'applique lorsqu'un changement au niveau du template peut être appliqué à certaines URL et retenu sur d'autres, à l'échelle de quelques centaines de pages ; en dessous, admettez que vous tranchez au jugé et dites-le, plutôt que de l'habiller en test.

Le fichier de compétence

---
name: organic-holdout-test-design
description: À utiliser quand on vous demande la preuve qu'un changement SEO a causé un résultat et qu'un graphique avant/après ne tranchera pas le débat.
---

# Concevoir un test SEO avec groupe témoin

Un avant/après sur un groupe de pages n'est pas une preuve, car la saisonnalité, les core updates et les autres livraisons font bouger ensemble les pages traitées et tout le reste. La correction évidente, garder quelques pages de côté comme témoin, échoue quand le témoin est choisi à la main et finit systématiquement différent du groupe traité. Cela s'applique lorsqu'un changement au niveau du template peut être appliqué à certaines URL et retenu sur d'autres, à l'échelle de quelques centaines de pages ; en dessous, admettez que vous tranchez au jugé et dites-le, plutôt que de l'habiller en test.

## Ce qu’il vous faut d’abord

- un changement applicable à certaines URL et retenable sur d'autres sans casser le site
- au moins quelques centaines d'URL comparables, idéalement issues d'un même template
- les clics et impressions quotidiens par URL depuis Search Console sur les 8 semaines précédant le test
- la durée du test et l'unique métrique de succès, écrites avant le lancement

## Méthode

1. Prenez l'URL comme unité d'affectation et vérifiez que les URL candidates sont réellement comparables : même template, plage d'impressions similaire, intention similaire. Un ensemble hétérogène produit un groupe témoin qui dérive pour ses propres raisons.
2. Tirez l'affectation au sort plutôt que de choisir les pages témoins à la main, puis vérifiez l'équilibre sur les 8 semaines d'impressions de la période précédente. Si les deux bras diffèrent déjà avant tout changement, retirez au sort et revérifiez.
3. Calculez l'effet minimal détectable à partir de la variance de la période précédente, avant le lancement. Beaucoup de tests sur un seul template ne peuvent rien détecter en dessous d'environ 10 pour cent, et le savoir à l'avance vous évite six semaines pour n'apprendre rien.
4. Livrez le changement au bras traité en une seule journée, et ne livrez rien d'autre qui ne touche qu'un seul bras. Une livraison qui porte sur les deux bras est survivable ; une livraison qui n'en touche qu'un met fin au test.
5. Faites démarrer la fenêtre de mesure au recrawl, pas au déploiement. Compter depuis la date de déploiement mélange des jours où le changement n'était pas encore dans l'index et tire l'effet mesuré vers zéro.
6. Comparez traité et témoin sous forme de rapport dans le temps, et non comme deux avant/après séparés. Le rapport absorbe la saisonnalité et la volatilité des mises à jour, ce qui est toute la raison d'être du témoin.
7. Rapportez l'effet sous forme d'intervalle et publiez le résultat même quand il est nul. Prolonger le test jusqu'à ce que les courbes s'écartent le transforme en chasse à la semaine favorable.

## Ce que ça produit

Un compte rendu de test de deux pages couvrant la méthode de tirage au sort, la vérification d'équilibre sur la période précédente, l'effet minimal détectable et un résultat exprimé sous forme d'intervalle.

## Là où ça dérape

- Utiliser un témoin temporel, les mêmes pages avant et après, ce qui ne permet pas de séparer votre changement de tout ce qui s'est passé d'autre ce mois-là
- Arrêter dès que les deux courbes s'écartent, ce qui saisit le bruit à son maximum et le présente comme un gain
- Tester sur les pages que vous voulez le plus corriger, si bien que le bras traité est un ensemble d'exceptions et que le résultat ne se transpose pas au reste du template
- Mener deux tests sur des ensembles d'URL qui se recoupent, après quoi aucun des deux résultats ne peut être attribué à l'un ou l'autre changement

---

Extrait de la bibliothèque de compétences QuQi - https://www.quqi.io/fr/skills/organic-holdout-test-design

Ce qu’il vous faut d’abord

• un changement applicable à certaines URL et retenable sur d'autres sans casser le site
• au moins quelques centaines d'URL comparables, idéalement issues d'un même template
• les clics et impressions quotidiens par URL depuis Search Console sur les 8 semaines précédant le test
• la durée du test et l'unique métrique de succès, écrites avant le lancement

Méthode

1. 01 Prenez l'URL comme unité d'affectation et vérifiez que les URL candidates sont réellement comparables : même template, plage d'impressions similaire, intention similaire. Un ensemble hétérogène produit un groupe témoin qui dérive pour ses propres raisons.
2. 02 Tirez l'affectation au sort plutôt que de choisir les pages témoins à la main, puis vérifiez l'équilibre sur les 8 semaines d'impressions de la période précédente. Si les deux bras diffèrent déjà avant tout changement, retirez au sort et revérifiez.
3. 03 Calculez l'effet minimal détectable à partir de la variance de la période précédente, avant le lancement. Beaucoup de tests sur un seul template ne peuvent rien détecter en dessous d'environ 10 pour cent, et le savoir à l'avance vous évite six semaines pour n'apprendre rien.
4. 04 Livrez le changement au bras traité en une seule journée, et ne livrez rien d'autre qui ne touche qu'un seul bras. Une livraison qui porte sur les deux bras est survivable ; une livraison qui n'en touche qu'un met fin au test.
5. 05 Faites démarrer la fenêtre de mesure au recrawl, pas au déploiement. Compter depuis la date de déploiement mélange des jours où le changement n'était pas encore dans l'index et tire l'effet mesuré vers zéro.
6. 06 Comparez traité et témoin sous forme de rapport dans le temps, et non comme deux avant/après séparés. Le rapport absorbe la saisonnalité et la volatilité des mises à jour, ce qui est toute la raison d'être du témoin.
7. 07 Rapportez l'effet sous forme d'intervalle et publiez le résultat même quand il est nul. Prolonger le test jusqu'à ce que les courbes s'écartent le transforme en chasse à la semaine favorable.

Ce que ça produit

Un compte rendu de test de deux pages couvrant la méthode de tirage au sort, la vérification d'équilibre sur la période précédente, l'effet minimal détectable et un résultat exprimé sous forme d'intervalle.

Là où ça dérape

• Utiliser un témoin temporel, les mêmes pages avant et après, ce qui ne permet pas de séparer votre changement de tout ce qui s'est passé d'autre ce mois-là
• Arrêter dès que les deux courbes s'écartent, ce qui saisit le bruit à son maximum et le présente comme un gain
• Tester sur les pages que vous voulez le plus corriger, si bien que le bras traité est un ensemble d'exceptions et que le résultat ne se transpose pas au reste du template
• Mener deux tests sur des ensembles d'URL qui se recoupent, après quoi aucun des deux résultats ne peut être attribué à l'un ou l'autre changement

Utiliser cette compétence dans votre propre IA

Le fichier téléchargé est un simple markdown dont l'en-tête porte le nom et le déclencheur. Quand un assistant sait charger des compétences tout seul, c'est cet en-tête qu'il lit pour décider que celle-ci s'applique.

Plus dans Analyse et rapports