Einen SEO-Test mit Kontrollgruppe entwerfen

Vorher-Nachher auf einer Seitengruppe ist kein Beleg, denn Saisonalität, Core-Updates und andere Releases bewegen die behandelten Seiten und alles Übrige gemeinsam. Die naheliegende Korrektur, ein paar Seiten als Kontrolle zurückzuhalten, scheitert, wenn die Kontrolle von Hand ausgewählt wird und am Ende systematisch anders ist als die behandelte Gruppe. Das gilt, wenn eine Änderung auf Template-Ebene bei einigen URLs ausgeliefert und bei anderen zurückgehalten werden kann, im Umfang einiger hundert Seiten; darunter akzeptieren Sie, dass Sie eine Ermessensentscheidung treffen, und sagen das auch, statt sie als Test zu verkleiden.

Die Skill-Datei

---
name: organic-holdout-test-design
description: Nutzen Sie dies, wenn jemand einen Nachweis verlangt, dass eine SEO-Änderung ein Ergebnis verursacht hat, und ein Vorher-Nachher-Diagramm die Diskussion nicht beendet.
---

# Einen SEO-Test mit Kontrollgruppe entwerfen

Vorher-Nachher auf einer Seitengruppe ist kein Beleg, denn Saisonalität, Core-Updates und andere Releases bewegen die behandelten Seiten und alles Übrige gemeinsam. Die naheliegende Korrektur, ein paar Seiten als Kontrolle zurückzuhalten, scheitert, wenn die Kontrolle von Hand ausgewählt wird und am Ende systematisch anders ist als die behandelte Gruppe. Das gilt, wenn eine Änderung auf Template-Ebene bei einigen URLs ausgeliefert und bei anderen zurückgehalten werden kann, im Umfang einiger hundert Seiten; darunter akzeptieren Sie, dass Sie eine Ermessensentscheidung treffen, und sagen das auch, statt sie als Test zu verkleiden.

## Was Sie vorher brauchen

- eine Änderung, die bei einigen URLs ausgeliefert und bei anderen zurückgehalten werden kann, ohne die Website zu beschädigen
- mindestens einige hundert vergleichbare URLs, idealerweise aus einem Template
- tägliche Search-Console-Klicks und -Impressionen je URL für 8 Wochen vor dem Test
- die Testdauer und die eine Erfolgskennzahl, vor dem Start schriftlich festgehalten

## Methode

1. Setzen Sie die URL als Zuordnungseinheit und prüfen Sie, ob die infrage kommenden URLs wirklich vergleichbar sind: gleiches Template, ähnlicher Impressionsbereich, ähnliche Suchintention. Eine gemischte Auswahl erzeugt eine Kontrollgruppe, die aus eigenen Gründen abdriftet.
2. Randomisieren Sie die Zuordnung, statt Kontrollseiten von Hand zu wählen, und prüfen Sie danach die Balance anhand der 8 Wochen Impressionen aus dem Vorzeitraum. Unterscheiden sich die beiden Gruppen schon, bevor Sie irgendetwas ändern, mischen Sie neu und prüfen erneut.
3. Berechnen Sie den minimal nachweisbaren Effekt vor dem Start aus der Varianz des Vorzeitraums. Viele Tests innerhalb eines Templates können nichts unter etwa 10 Prozent nachweisen, und das vorher zu wissen bewahrt Sie davor, sechs Wochen aufzuwenden und nichts zu lernen.
4. Liefern Sie die Änderung an einem Tag an die behandelte Gruppe aus und liefern Sie sonst nichts aus, das nur eine Gruppe berührt. Ein Release über beide Gruppen ist verkraftbar; eines über nur eine beendet den Test.
5. Beginnen Sie das Messfenster beim erneuten Crawl, nicht beim Deployment. Ab dem Deploy-Datum zu zählen mischt Tage hinein, an denen die Änderung noch nicht im Index war, und zieht den gemessenen Effekt Richtung null.
6. Vergleichen Sie behandelt gegen Kontrolle als Verhältnis im Zeitverlauf statt als zwei getrennte Vorher-Nachher-Zahlen. Das Verhältnis fängt Saisonalität und Update-Volatilität ab, und genau dafür existiert die Kontrolle.
7. Berichten Sie den Effekt als Intervall und veröffentlichen Sie das Ergebnis auch dann, wenn es null ist. Den Test zu verlängern, bis die Linien auseinandergehen, macht daraus die Suche nach einer günstigen Woche.

## Was dabei herauskommt

Ein zweiseitiges Testprotokoll zu Randomisierungsmethode, Balanceprüfung im Vorzeitraum, minimal nachweisbarem Effekt und einem als Intervall angegebenen Ergebnis.

## Wo es schiefgeht

- Eine zeitbasierte Kontrolle zu verwenden, also dieselben Seiten vorher und nachher, die Ihre Änderung von nichts anderem trennen kann, was in jenem Monat geschah
- In dem Moment abzubrechen, in dem die beiden Linien auseinandergehen, was Rauschen an seiner breitesten Stelle einfängt und als Erfolg meldet
- Auf genau den Seiten zu testen, die Sie am dringendsten reparieren wollen, sodass die behandelte Gruppe aus Ausreißern besteht und das Ergebnis nicht auf das übrige Template überträgt
- Zwei Tests über überlappende URL-Mengen laufen zu lassen, wonach sich kein Ergebnis mehr einer der beiden Änderungen zuordnen lässt

---

Aus der QuQi-Skill-Bibliothek - https://www.quqi.io/de/skills/organic-holdout-test-design

Was Sie vorher brauchen

• eine Änderung, die bei einigen URLs ausgeliefert und bei anderen zurückgehalten werden kann, ohne die Website zu beschädigen
• mindestens einige hundert vergleichbare URLs, idealerweise aus einem Template
• tägliche Search-Console-Klicks und -Impressionen je URL für 8 Wochen vor dem Test
• die Testdauer und die eine Erfolgskennzahl, vor dem Start schriftlich festgehalten

Methode

1. 01 Setzen Sie die URL als Zuordnungseinheit und prüfen Sie, ob die infrage kommenden URLs wirklich vergleichbar sind: gleiches Template, ähnlicher Impressionsbereich, ähnliche Suchintention. Eine gemischte Auswahl erzeugt eine Kontrollgruppe, die aus eigenen Gründen abdriftet.
2. 02 Randomisieren Sie die Zuordnung, statt Kontrollseiten von Hand zu wählen, und prüfen Sie danach die Balance anhand der 8 Wochen Impressionen aus dem Vorzeitraum. Unterscheiden sich die beiden Gruppen schon, bevor Sie irgendetwas ändern, mischen Sie neu und prüfen erneut.
3. 03 Berechnen Sie den minimal nachweisbaren Effekt vor dem Start aus der Varianz des Vorzeitraums. Viele Tests innerhalb eines Templates können nichts unter etwa 10 Prozent nachweisen, und das vorher zu wissen bewahrt Sie davor, sechs Wochen aufzuwenden und nichts zu lernen.
4. 04 Liefern Sie die Änderung an einem Tag an die behandelte Gruppe aus und liefern Sie sonst nichts aus, das nur eine Gruppe berührt. Ein Release über beide Gruppen ist verkraftbar; eines über nur eine beendet den Test.
5. 05 Beginnen Sie das Messfenster beim erneuten Crawl, nicht beim Deployment. Ab dem Deploy-Datum zu zählen mischt Tage hinein, an denen die Änderung noch nicht im Index war, und zieht den gemessenen Effekt Richtung null.
6. 06 Vergleichen Sie behandelt gegen Kontrolle als Verhältnis im Zeitverlauf statt als zwei getrennte Vorher-Nachher-Zahlen. Das Verhältnis fängt Saisonalität und Update-Volatilität ab, und genau dafür existiert die Kontrolle.
7. 07 Berichten Sie den Effekt als Intervall und veröffentlichen Sie das Ergebnis auch dann, wenn es null ist. Den Test zu verlängern, bis die Linien auseinandergehen, macht daraus die Suche nach einer günstigen Woche.

Was dabei herauskommt

Ein zweiseitiges Testprotokoll zu Randomisierungsmethode, Balanceprüfung im Vorzeitraum, minimal nachweisbarem Effekt und einem als Intervall angegebenen Ergebnis.

Wo es schiefgeht

• Eine zeitbasierte Kontrolle zu verwenden, also dieselben Seiten vorher und nachher, die Ihre Änderung von nichts anderem trennen kann, was in jenem Monat geschah
• In dem Moment abzubrechen, in dem die beiden Linien auseinandergehen, was Rauschen an seiner breitesten Stelle einfängt und als Erfolg meldet
• Auf genau den Seiten zu testen, die Sie am dringendsten reparieren wollen, sodass die behandelte Gruppe aus Ausreißern besteht und das Ergebnis nicht auf das übrige Template überträgt
• Zwei Tests über überlappende URL-Mengen laufen zu lassen, wonach sich kein Ergebnis mehr einer der beiden Änderungen zuordnen lässt

Diese Skill in Ihrer eigenen KI nutzen

Die Datei ist einfaches Markdown, mit Name und Auslöser im Frontmatter. Wo ein Assistent Skills selbst laden kann, liest er genau dieses Frontmatter, um zu entscheiden, dass diese hier passt.

Mehr in Analytics & Reporting