Statistische Signifikanz in Flows verstehen
Erfahre, wann die Ergebnisse eines A/B-Tests in Klaviyo-Flows als statistisch signifikant gelten. In diesem Artikel wird die statistische Signifikanz für Flows erklärt und wann sie bestimmt wird.
Statistische Signifikanz liegt vor, wenn Klaviyo mathematisch bestimmen kann, ob eine Variante eine bessere Performance erzielt. Du kannst einen Flow-A/B-Test so konfigurieren, dass automatisch eine Gewinner-Variante ausgewählt wird, sobald die Testergebnisse als statistisch signifikant gelten.
A/B-Tests sind der Schlüssel zu einer besseren Kundenengagement und zur Verbesserung deiner Kundenbeziehungen durch einen datengesteuerten Ansatz. Es ist wichtig zu verstehen, ob der Test als statisch signifikant angesehen werden kann oder nicht. Wenn eine Flow-E-Mail zum Beispiel 2 Varianten hat und Variante A eine Klickrate von 15% hat, während Variante B eine Klickrate von 14% hat, woher weißt du dann mit Sicherheit, ob Variante A oder B besser war?
Wie Klaviyo die statistische Signifikanz in Flows bestimmt
Für Flows beobachtet Klaviyo sowohl die Anzahl der Personen, die eine Nachricht erhalten haben, als auch die Gewinnwahrscheinlichkeit. Diese zeigt, wie wahrscheinlich es ist, dass eine Variante bessere Ergebnisse erzielt, basierend darauf, wie stark sie die andere(n) Variante(n) übertrifft.
Eine Flow-Nachrichtenvariante gilt als statistisch signifikant, wenn:
- Mindestens 500 Empfänger*innen haben jede Variante erhalten.
- Eine Variante hat eine Gewinnwahrscheinlichkeit von mindestens 90 %.
- Die Top-Varianten sind klar voneinander getrennt: Wir zeigen statistische Signifikanz nur an, wenn sich die wahrscheinlichen Leistungsbereiche der führenden Variante und der zweitplatzierten Variante zu wenig überschneiden (<10 % Überschneidung in glaubwürdigen Intervallen).
Die Gewinnwahrscheinlichkeit wird anhand der Metrik berechnet, die du beim Konfigurieren deines A/B-Tests ausgewählt hast. Standardmäßig ist diese Metrik die Klickrate der Nachricht, die du testest. Im Abschnitt Automatic Winner Selection hast du die Option, den Test automatisch zu beenden, sobald basierend auf der konfigurierten Metrik eine Nachrichtenvariante als Gewinner bestimmt wurde, sowie die Option, den Test zu beenden, sobald ein bestimmtes Datum erreicht wird. Du kannst eine oder beide dieser Optionen auswählen. Wenn beide ausgewählt sind, endet der Test basierend darauf, was zuerst erreicht wird: statistische Signifikanz oder das angegebene Datum.
Weitere Details findest du in unserem Artikel zum A/B-Testen einer Flow-E-Mail.
Wenn du die Ergebnisse für einen aktuell laufenden oder abgeschlossenen Test ansiehst, siehst du die Gewinnwahrscheinlichkeit im Abschnitt A/B-Test. Hier siehst du, ob die Testergebnisse statistisch signifikant sind und welche Variante voraussichtlich besser abschneidet.
Weitere Details findest du in unserem Artikel dazu, wie du E-Mail-A/B-Testergebnisse für Flows überprüfst.