FeedX

Kontroll- & Testgruppe — Ihre Produkte werden zufällig in zwei Hälften geteilt. Die Kontrollgruppe behält den bisherigen Feed, die Testgruppe bekommt die Optimierung. Der Unterschied zwischen beiden zeigt, ob die Änderung wirkt.

MDE — kleinster erkennbarer Unterschied (englisch Minimum Detectable Effect) — Wie stark sich die Testgruppe mindestens von der Kontrollgruppe abheben muss, damit der Test das sicher als echten Effekt erkennt und nicht als Zufall. Beispiel: 8% bedeutet, Verbesserungen unter 8% bleiben möglicherweise unentdeckt. Kleiner ist besser.

Absolut vs. relativ — «Relativ» ist der Prozentwert (z.B. +8%). «Absolut» ist derselbe Effekt in der Einheit der Kennzahl (z.B. +0,42 Klicks pro Produkt und Woche).

Signifikanz & p-Wert — Ein Ergebnis ist «signifikant», wenn es sehr unwahrscheinlich durch Zufall entstanden ist. Der p-Wert misst genau diese Wahrscheinlichkeit: je kleiner, desto sicherer der Effekt.

Sicherheitsschwelle (Alpha) — Das erlaubte Risiko für einen Fehlalarm (einen Effekt sehen, wo keiner ist). Standard 0,05 = 5%.

Teststärke (Power) — Die Chance, einen echten Effekt auch tatsächlich zu finden. 80% heisst: 8 von 10 echten Verbesserungen werden erkannt.

Konfidenzintervall — Der Bereich, in dem der wahre Effekt mit hoher Wahrscheinlichkeit liegt. Schliesst er die Null nicht ein, gilt der Effekt als gesichert.

CUPED — Ein Verfahren, das die Vergangenheitsdaten nutzt, um zufälliges Rauschen herauszurechnen. Das macht den Test empfindlicher, ohne dass er länger laufen muss.

Trimming — Einzelne Ausreisser-Produkte (extrem viele oder gar keine Klicks) werden aussen vor gelassen, damit sie das Ergebnis nicht verzerren.