Statistische Signifikanz für Anmeldeformulare verstehen

Übersicht

Erfahre, wann die Ergebnisse eines A/B-Tests für Klaviyo-Anmeldeformulare als statistisch signifikant gelten. In diesem Leitfaden wird die statistische Signifikanz für Anmeldeformulare erklärt und wann sie festgelegt wird.

Klaviyo betrachtet einen A/B-Test als statistisch signifikant, wenn es starke statistische Evidenz dafür gibt, dass 1 Variante eine höhere Formularübermittlungsrate als die anderen hat. Du kannst einen A/B-Test so konfigurieren, dass automatisch die Gewinnervariante des Formulars ausgewählt wird und er beendet wird, sobald die Testergebnisse als statistisch signifikant gelten.

Mit A/B-Tests kannst du messen, wie verschiedene Elemente deiner Formulare funktionieren, um sicherzustellen, dass sie bei deinen Website-Besuchern gut ankommen und eine starke Kundenengagement fördern. Es ist wichtig zu wissen, ob ein Test als statistisch signifikant angesehen werden kann oder nicht, damit du die Ergebnisse effektiv analysieren und Verbesserungen vornehmen kannst. Wenn die Testergebnisse statistisch nicht signifikant sind, ist es schwieriger zu bestätigen, dass eine bestimmte Variation die Leistung im großen Maßstab verbessern wird.

Wie Klaviyo die statistische Signifikanz für Formulare bestimmt

Klaviyo berücksichtigt die Gewinnwahrscheinlichkeit und die Formularaufrufe sowie zusätzliche Prüfungen, wenn es bestimmt, ob der A/B-Test eines Anmeldeformulars statistisch signifikant ist:

1. Eine Gewinnwahrscheinlichkeit von über 90 % für die führende Variante
2. Mehr als 1.000 Formularaufrufe pro Variante

Diese Schwellenwerte allein reichen nicht aus. Klaviyo erfordert außerdem mindestens 10 Formularübermittlungen über alle Varianten hinweg und prüft, dass sich der geschätzte Bereich der Formularübermittlungsraten für die führende Variante nur wenig mit denen der anderen Varianten überschneidet.

• Gewinnwahrscheinlichkeit der führenden Variante
  • Das ist die Wahrscheinlichkeit, dass die Formularübermittlungsrate für die führende Variante tatsächlich höher ist als die Formularübermittlungsrate für alle anderen Varianten. Eine hohe Gewinnwahrscheinlichkeit bedeutet, dass es starke Hinweise darauf gibt, dass die führende Variante gewinnt, weil das Formular besser ist und nicht durch Zufall.
• Formularaufrufe
  • Ein Formular muss eine ausreichend hohe Anzahl an Aufrufen erfassen, um den Einfluss von Anomalien bei frühen Tests zu verringern. Neue A/B-Tests zählen einzigartige Besucher*innen. Das heißt: Ein*e Besucher*in, der*die dieselbe Variante mehr als einmal ansieht, zählt als 1 Aufruf. Bei Tests, die das Anzeige-Timing vergleichen, zählt Klaviyo Besucher*innen, die berechtigt sind, jede Variante zu sehen, einschließlich derjenigen, die die Seite verlassen, bevor das Formular angezeigt wird.

Überwachen und Beenden eines A/B-Tests

Wähle auf der Seite A/B-Test-Einstellungen unter Auswahl des Gewinner*innens Test automatisch beenden, wenn statistische Signifikanz erreicht ist, Enddatum festlegen oder beides aus. Wenn du beides auswählst, endet der Test, sobald eine der beiden Bedingungen erfüllt ist.

Wenn das Enddatum erreicht wird, bevor statistische Signifikanz erreicht ist, wählt Klaviyo zu diesem Zeitpunkt die Variante mit der höchsten Formularübermittlungsrate aus. Bei beiden Optionen für die automatische Beendigung schaltet Klaviyo die Gewinnervariante live. Ein automatisch ausgewählter Gewinner ist nicht unbedingt statistisch signifikant.

Alternativ kannst du beide Kästchen unter Gewinnerauswahl deaktivieren, damit der Test weiterläuft, bis du ihn manuell beendest. Du entscheidest, wann du den Test beendest und welche Variante du verwendest.

So überwachst du einen laufenden Test:

1. Gehe zu Anmeldeformular, öffne das 3-Punkte-Menü des Formulars und wähle Analytics aus.
2. Wähle A/B-Testergebnisse aus und wähle dann den Test aus dem Dropdown-Menü aus.
3. Im Abschnitt Übersicht kannst du die Gewinnwahrscheinlichkeit und die Daten für jede Variante prüfen. Überprüfe das Label unterhalb der Wahrscheinlichkeit: Statistisch signifikant bestätigt, dass der Test die Signifikanzprüfungen besteht. Eine hohe Gewinnwahrscheinlichkeit allein bestätigt dies nicht.

So beendest du einen laufenden Test manuell:

1. Klicke im Abschnitt Übersicht des Tests auf Gewinner auswählen.
2. Wähle die Gewinner-Variante aus und wähle dann Test beenden und ausgewählte Variante live schalten oder Test beenden und ausgewählte Variante als Entwurf speichern. Wenn du „Entwurf“ auswählst, wird das Formular von deiner Website entfernt.
3. Klicke auf Gewinner auswählen, um den Test zu beenden und deine Auswahl anzuwenden.

Weitere Details findest du in unserem Leitfaden zum Auswerten von A/B-Testergebnissen.

Weitere Ressourcen