Statistische Signifikanz in Klaviyo-Kampagnen verstehen

Übersicht

Erfahre, wie du erkennen kannst, ob ein A/B-Test statistisch signifikant ist. Wenn zum Beispiel Kampagnenvariante A eine Öffnungsrate von 15 % und Variante B eine Öffnungsrate von 14 % hat, woher weißt du dann, welche Variante besser abgeschnitten hat?

Hinweis zum Apple Mail-Datenschutz

Mit der Veröffentlichung von iOS 15, macOS Monterey, iPadOS 15 und WatchOS 8 wurde bei Apple Mail Privacy Protection (MPP) durch Prefetching unseres Tracking-Pixels geändert, wie wir Daten über die Öffnungsrate deiner E-Mails erhalten. Diese Änderung bedeutet im Wesentlichen, dass die Öffnungsraten in die Höhe getrieben werden.

MPP-Öffnungen werden einbezogen, wenn ein A/B-Test die Öffnungsrate als Gewinn-Metrik verwendet. Statistische Signifikanz belegt nicht, dass Empfänger*innen die E-Mail absichtlich geöffnet haben. Ziehe die Klickrate in Betracht, wenn MPP die Ergebnisse der Öffnungsrate schwer interpretierbar macht. Um zu verstehen, wie MPP deine Zielgruppe beeinflusst, erstelle einen benutzerdefinierten Bericht, der eine MPP-Eigenschaft enthält. Du kannst diese Öffnungen auch in deinen einzelnen Abonnentensegmenten identifizieren.

Ausführliche Informationen zu MPP-Öffnungen findest du in unserem Leitfaden iOS 15: So bereitest du dich auf Änderungen bei Apple vor.

Kategorien der statistischen Signifikanz

Statistische Signifikanz weist starke Belege dafür aus, dass eine Variante für deine gewählte Gewinn-Metrik besser abschneidet als die anderen. Bei Kampagnen bewertet Klaviyo sowohl die Zielgruppengröße als auch die Gewinnwahrscheinlichkeit: die geschätzte Wahrscheinlichkeit, dass eine Variante basierend auf den Testdaten für diese Metrik die höchste Rate hat.

Bei A/B-Tests solltest du jeden Faktor vermeiden, der deine Zielgruppe wesentlich beeinflussen kann; teste z. B. nicht kurz vor einem Feiertagswochenende erneut, wenn deine Zielgruppe viel eher nach deinen E-Mails sucht.

Wenn es um A/B-Tests von Kampagnen geht, gibt es 4 Kategorien für statistische Signifikanz:

• Statistisch signifikant
• Vielversprechend
• Statistisch nicht signifikant
• Uneindeutig

Um deine Ergebnisse zu überprüfen, öffne den Kampagnenbericht und wähle A/B-Testergebnisse aus. Nachdem der Test abgeschlossen ist, sieh unter Gewinnwahrscheinlichkeit nach. Wenn sowohl Ergebnisse des Testzeitraums als auch Laufende Ergebnisse verfügbar sind, wähle Ergebnisse des Testzeitraums aus, um die Daten zu bewerten, die erfasst wurden, bevor der Gewinner ausgewählt wurde. Laufende Ergebnisse umfasst spätere Aktivitäten der Testempfänger*innen.

Statistisch signifikant

Das Label Statistisch signifikant in deinem A/B-Test bedeutet, dass eine Variante mit hoher Wahrscheinlichkeit die andere(n) Option(en) für die ausgewählte Metrik übertrifft, basierend auf den Testdaten. Du kannst das, was du gelernt hast, nutzen, um zukünftige Sendungen zu steuern, aber das Ergebnis garantiert nicht denselben Ausgang bei einer anderen Zielgruppe, einer anderen Nachricht oder einem anderen Versandzeitpunkt.

Für Klaviyo-Kampagnen gilt ein A/B-Testergebnis als statistisch signifikant, wenn:

• Jede Variante hat mehr als 50 erfolgreiche Zustellungen für E-Mails oder mehr als 50 Empfänger*innen für SMS.
• Die Gewinnwahrscheinlichkeit liegt bei über 90 %.

Diese Kriterien kombinieren die Zielgruppengröße mit dem Vertrauen in das Ergebnis für deine ausgewählte Gewinn-Metrik: Öffnungsrate, Klickrate oder Bestellrate für aufgegebene Bestellungen. Die angezeigte Gewinnwahrscheinlichkeit wird gerundet. Verwende daher beim Interpretieren eines Werts nahe an einem Grenzwert das Ergebnislabel oder die Warnmeldung.

Nehmen wir zum Beispiel an, du testest, ob ein Emoji im Betreff die Öffnungsrate beeinflusst. Die Ergebnisse zeigen, dass die Variante mit dem Emoji gewonnen hat und das Label Statistisch signifikant trägt. Das spricht dafür, das Emoji bei ähnlichen Sendungen an diese Zielgruppe zu verwenden, aber es belegt nicht, dass Emojis die Öffnungsrate in jeder Kampagne durchgängig verbessern.

Du solltest jedoch immer nach bestem Wissen und Gewissen entscheiden, wenn du auf die Ergebnisse des Tests reagierst. Wenn du zum Beispiel eine ernstere oder eher bedrückende Nachricht sendest, ist ein Emoji möglicherweise nicht angemessen.

Vielversprechend

Wenn die Ergebnisse vielversprechend sind, sieht es so aus, als würde eine Variante besser abschneiden als die andere(n), aber die Belege aus dem Test allein sind nicht stark genug. Vielversprechende Ergebnisse haben kein Signifikanz-Label. Für einen abgeschlossenen Test empfiehlt eine Warnmeldung, den Test zu wiederholen. Wenn Ergebnisse des Testzeitraums verfügbar ist, sieh dort nach dieser Warnmeldung. Wenn eine andere Variante in Kontinuierliche Ergebnisse führt, wird stattdessen eine Warnmeldung zur Änderung des Gewinners angezeigt.

Bei einem vielversprechenden Ergebnis solltest du einen weiteren ähnlichen A/B-Test durchführen, um zu prüfen, ob das Ergebnis Bestand hat. Um auf das Emoji-Beispiel zurückzukommen: Wiederholte vielversprechende Ergebnisse können auf ein Muster hindeuten, bestätigen für sich genommen jedoch keine statistische Signifikanz. Nutze sie, um weitere Tests zu steuern, statt davon auszugehen, dass Emojis jede Kampagne verbessern.

Bei Kampagnen gilt ein A/B-Testergebnis als vielversprechend, wenn:

• Jede Variante hat mehr als 50 erfolgreiche Zustellungen für E-Mails oder mehr als 50 Empfänger*innen für SMS.
• Die Gewinnwahrscheinlichkeit ist größer als 75 % und darf nicht mehr als 90 % betragen.

Statistisch nicht signifikant

Ein nicht statistisch signifikantes Ergebnis bedeutet, dass der Test nicht genügend starke Belege dafür liefert, dass die führende Variante besser abschneidet. Eine Variante kann auch dann noch als Gewinner ausgewählt werden, wenn das Ergebnis nicht statistisch signifikant ist.

In unserem Beispiel kann das bedeuten, dass die Variante mit dem Emoji die Variante(n) ohne Emoji geschlagen hat, aber nur um einen sehr geringen Betrag – nicht genug, damit das Testergebnis aussagekräftig ist.

In diesem Fall empfehlen wir, diesen Faktor noch 2 oder 3 Mal zu testen und die Ergebnisse genau im Auge zu behalten.

Wenn du weiterhin feststellst, dass das Testergebnis als nicht statistisch signifikant eingestuft wird, teste nicht weiter; gehe stattdessen dazu über, ein anderes Thema per A/B-Test zu testen. Wenn ein Test in diese Kategorie fällt, erscheint auf der Seite mit den A/B-Testergebnissen ein Label Nicht statistisch signifikant.

Bei Kampagnen muss jede Variante mehr als 50 erfolgreiche Zustellungen für E-Mails oder mehr als 50 Empfänger*innen für SMS haben, bevor ein Ergebnis als nicht statistisch signifikant eingestuft werden kann. Sobald dieses Minimum erreicht ist, qualifiziert sich eine der folgenden Bedingungen:

• Die Gewinnwahrscheinlichkeit beträgt 75 % oder weniger, und jede Variante hat mehr als 1.800 erfolgreiche Zustellungen für E-Mails oder mehr als 1.800 Empfänger*innen für SMS.
• Die Gewinnwahrscheinlichkeit liegt unter 60 %, und der Unterschied in der führenden Gewinn-Metrik zwischen der führenden Variante und der zweitplatzierten Variante liegt unter 4 Prozentpunkten.

Uneindeutig

Wenn ein Test kein eindeutiges Ergebnis liefert, gibt es nicht genügend Informationen, um festzustellen, ob eine Variante besser abschneidet. Wenn eine Variante 50 oder weniger erfolgreiche Zustellungen für E-Mails oder 50 oder weniger Empfänger*innen für SMS hat, ist das Ergebnis unabhängig von der Gewinnwahrscheinlichkeit nicht eindeutig. Ergebnisse, die die Kriterien keiner der anderen Kategorien erfüllen, sind ebenfalls nicht eindeutig. Du kannst die Kategorien mithilfe des Entscheidungsbaums im nächsten Abschnitt visualisieren. Nicht eindeutige Tests zeigen auf der Ergebnisseite kein Label für statistische Signifikanz.

In diesem Fall solltest du deine Zielgruppe für alle Folgetests erweitern. Wenn du mit einer kleinen Gruppe testest, interpretiere die Ergebnisse so, wie es für dich passt, und teste erneut, um zu prüfen, ob das, was du herausgefunden hast, korrekt ist. Konzentriere dich außerdem darauf, mehr über deine Abonnent*innen auf anderen Wegen zu erfahren, z. B. durch Umfragen, Abstimmungen usw.

Entscheidungsbaum zur statistischen Signifikanz

Der folgende Entscheidungsbaum zeigt, wann ein A/B-Test in jede Kategorie fällt. Die grünen Linien zeigen an, dass die Antwort „ja“ ist, während Rot „nein“ bedeutet.

Weitere Ressourcen