Die statistische Signifikanz in der Klaviyo Kampagne verstehen

Du wirst lernen

Erfahre, wie du erkennen kannst, ob ein A/B-Test als statisch signifikant gilt oder nicht. Wenn zum Beispiel Variante A einer Kampagne eine Öffnungsrate von 15 % und Variante B eine Öffnungsrate von 14 % hat, woher weißt du dann mit Sicherheit, ob Variante A oder B besser war?

Hinweis zum Datenschutz bei Apple Mail

Mit der Veröffentlichung von iOS15, macOS Monterey, iPadOS 15 und WatchOS 8 hat Apple Mail Privacy Protection (MPP) die Art und Weise geändert, wie wir Daten über die Öffnungsrate deiner E-Mail erhalten, indem wir unser Tracking-Pixel vorwegnehmen. Bei dieser Änderung ist es wichtig zu verstehen, dass die Öffnungsrate erhöht wird.

Im Hinblick auf A/B-Tests gehen wir davon aus, dass unsere Tools diese überhöhten Öffnungsraten berücksichtigen sollten; allerdings brauchst du möglicherweise einen höheren Schwellenwert, um statistische Signifikanz zu erreichen. Wenn du regelmäßig A/B-Tests durchführst UND mehr als ~45% der Öffnungen auf Apple Mail hast, empfehlen wir, einen benutzerdefinierten Bericht zu erstellen, der eine MPP-Eigenschaft enthält. Du kannst diese Eröffnungen auch in deinem individuellen Abonnentensegment identifizieren.

Ausführliche Informationen zu MPP-Öffnungen findest du in unserem Leitfaden iOS 15: So bereitest du dich auf Apples Änderungen vor.

Kategorien der statistischen Signifikanz

Von statistischer Signifikanz spricht man, wenn Klaviyo mathematisch feststellen kann, ob eine Veränderung zu einer Leistungssteigerung führt. Für die Kampagne beobachtet Klaviyo sowohl die Anzahl der Personen, die eine Nachricht erhalten haben, als auch die Gewinnwahrscheinlichkeit, d. h. die Wahrscheinlichkeit, dass eine Variante bessere Ergebnisse erzielt, je nachdem, wie gut sie die anderen Varianten übertrifft.

Wenn du A/B-Tests durchführst, solltest du alle Faktoren vermeiden, die deine Zielgruppe stark beeinflussen können. Teste zum Beispiel nicht in der Nähe eines Feiertagswochenendes, wenn deine Zielgruppe mit größerer Wahrscheinlichkeit nach deiner E-Mail sucht. 

Beim A/B-Test der Kampagne gibt es vier Kategorien für die statistische Signifikanz:

• Statistisch signifikant
• Vielversprechend
• Statistisch nicht signifikant
• Nicht schlüssig

In den nächsten Abschnitten gehen wir darauf ein, wann ein Test in jede dieser Kategorien fällt.

Statistisch signifikant

Ein statistisch signifikanter Tag in deinem A/B-Test bedeutet, dass eine bestimmte Variante deines Tests mit hoher Wahrscheinlichkeit gegenüber der/den anderen Option(en) gewinnt. Es zeigt auch, dass du die Ergebnisse reproduzieren kannst und das Gelernte auf deine zukünftigen Sendungen anwenden kannst.

Für Klaviyo Kampagne gilt ein A/B-Test-Ergebnis als statistisch signifikant, wenn:

• 50 Menschen haben jede Variante erhalten.
• Die Gewinnwahrscheinlichkeit liegt bei mindestens 90 %.

So wird sichergestellt, dass eine ausreichend große Stichprobe von Empfängern den A/B-Test gesehen hat und dass die siegreiche Variante die andere(n) bei der gewählten Siegermetrik (bei der Kampagne ist das entweder die Öffnungsrate, die Klickrate oder die platzierte Bestellrate) deutlich übertrifft.

Angenommen, du testest, ob ein Emoji im Betreff die Öffnungsrate beeinflusst oder nicht. Die Testergebnisse zeigen, dass die siegreiche Variante die mit dem Emoji ist und dass es ein grünes statistisches Signifikanzzeichen gibt. In diesem Fall kannst du sicher sein, dass ein Betreff mit einem Emoji durchweg besser abschneidet als ein Betreff ohne Emoji: und du musst nicht erneut testen.

Du solltest jedoch immer nach bestem Wissen und Gewissen handeln, wenn du die Ergebnisse des Tests nutzt. Wenn du z.B. eine ernste oder düstere Nachricht verschickst, ist ein Emoji vielleicht nicht angebracht.

Vielversprechend

Wenn die Ergebnisse vielversprechend sind, sieht es so aus, als ob eine Variante besser abschneidet als die andere(n), aber die Beweise aus dem Test selbst sind nicht stark genug. Wenn ein Test als vielversprechend eingestuft wird, erscheint keine Markierung, die dies anzeigt; du erhältst jedoch einen Hinweis, dass du den Test wiederholen solltest.

Bei einem vielversprechenden Testergebnis solltest du einen weiteren A/B-Test durchführen, damit du mehr Gewissheit hast. Um noch einmal auf das Emoji-Beispiel zurückzukommen: Wenn die Ergebnisse vielversprechend sind, führe diesen Test noch einmal durch. Wenn du nach mehreren A/B-Tests weiterhin vielversprechende Ergebnisse zugunsten des Emojis siehst, kannst du darauf vertrauen, dass Emojis einen leichten, aber positiven Einfluss auf dein Publikum haben, und du solltest sie weiterhin in der Kampagne verwenden.

Für Kampagne gilt ein A/B-Test-Ergebnis als vielversprechend, wenn:

• 50 Menschen haben jede Variante erhalten.
• Die Gewinnwahrscheinlichkeit liegt zwischen 75 % und 89 %.

Statistisch nicht signifikant

Wenn etwas statistisch nicht signifikant ist, übertrifft eine Variante die andere(n) im Test nur um einen geringen Betrag und du kannst das Ergebnis in einem weiteren Test möglicherweise nicht wiederholen.

Für unser Beispiel könnte das bedeuten, dass die Variante mit dem Emoji die Variante ohne Emoji geschlagen hat, aber nur um einen sehr geringen Betrag; nicht genug, um das Testergebnis aussagekräftig zu machen.

In diesem Fall empfehlen wir, diesen Faktor noch 2 oder 3 Mal zu testen und die Ergebnisse genau im Auge zu behalten.

Wenn du weiterhin feststellst, dass das Testergebnis als statistisch nicht signifikant eingestuft wird, setze den Test nicht fort, sondern gehe zu einem anderen A/B-Test über. Wenn ein Test in diese Kategorie fällt, wird auf der Ergebnisseite des A/B-Tests ein graues Schild mit der Aufschrift Nicht statistisch signifikant angezeigt.

Bei Kampagnen gilt ein A/B-Test-Ergebnis als nicht statistisch signifikant, wenn entweder

• Die Wahrscheinlichkeit liegt bei weniger als 75% und mindestens 1.800 Menschen haben jede Variante erhalten.
  Oder
• Weniger als 1.800 haben jede Variante erhalten, der prozentuale Unterschied zwischen der führenden Variante und der zweitplatzierten Variante beträgt 4 % oder weniger und die Gewinnwahrscheinlichkeit liegt unter 60 %.

Nicht schlüssig

Wenn ein Test nicht schlüssig ist, bedeutet das, dass es nicht genug Informationen gibt, um festzustellen, ob etwas statistisch signifikant ist oder nicht. Wenn die Testergebnisse keinem der Kriterien für die oben genannten Optionen entsprechen, werden sie als nicht schlüssig eingestuft. Du kannst dies mithilfe des Entscheidungsbaums im nächsten Abschnitt veranschaulichen. Beachte, dass bei nicht eindeutigen Tests auf der Ergebnisseite keine Markierung angezeigt wird, die angibt, ob der Test statistisch signifikant war oder nicht.

In diesem Fall solltest du deine Zielgruppe für eventuelle Folgeversuche erweitern. Wenn du den Test mit einer kleinen Gruppe durchführst, interpretiere die Ergebnisse nach eigenem Ermessen und führe den Test erneut durch, um zu überprüfen, ob die Ergebnisse stimmen. Konzentriere dich außerdem darauf, deine Abonnent/innen auf andere Weise kennenzulernen, z. B. durch Umfragen, Abstimmungen usw.

Statistische Signifikanz Entscheidungsbaum

Der folgende Entscheidungsbaum zeigt, wann ein A/B-Test in die jeweilige Kategorie fällt. Die grünen Linien zeigen an, dass die Antwort "ja" ist, während rot "nein" bedeutet.

Zusätzliche Ressourcen

Erfahre mehr über die Ergebnisse von A/B-Tests in diesem Artikel. 

Informiere dich über die besten Methoden für A/B-Tests. 

Hier erfährst du, wie du A/B-Tests für deine E-Mails durchführst: 

• A/B-Test einer individuellen Flow-E-Mail
• Wie man eine E-Mail-Kampagne einem A/B-Test unterzieht