Statistische Signifikanz in Klaviyo-Kampagnen verstehen

Übersicht

Erfahre, wie du feststellen kannst, ob ein A/B-Test als statisch signifikant gilt oder nicht. Wenn beispielsweise eine Kampagnenvariante A eine Öffnungsrate von 15 % hat und Variante B eine Öffnungsrate von 14 %, woher weißt du dann mit Sicherheit, ob Variante A oder B besser abgeschnitten hat?

Hinweis zum Apple Mail-Datenschutz

Mit der Veröffentlichung von iOS15, macOS Monterey, iPadOS 15 und WatchOS 8 und Apple Mail Privacy Protection (MPP) wurde durch das Prefetching unseres Tracking-Pixels geändert, wie wir Daten über die Öffnungsraten deiner E-Mails erhalten. Diese Änderung bedeutet im Wesentlichen, dass die Öffnungsraten in die Höhe getrieben werden.

In Bezug auf A/B-Tests erwarten wir, dass unsere Tools diese erhöhten Öffnungsraten berücksichtigen sollten; möglicherweise brauchst du jedoch einen höheren Schwellenwert, um statistische Signifikanz zu erreichen. Wenn du regelmäßig A/B-Tests durchführst UND mehr als ca. 45 % der Öffnungen über Apple Mail erfolgen, empfehlen wir, einen benutzerdefinierten Bericht zu erstellen, der eine MPP-Eigenschaft enthält. Du kannst diese Öffnungen auch in deinen einzelnen Abonnent*innensegmenten identifizieren.

Ausführliche Informationen zu MPP-Öffnungen findest du in unserem Leitfaden iOS 15: So bereitest du dich auf Änderungen bei Apple vor.

Kategorien der statistischen Signifikanz

Statistische Signifikanz liegt vor, wenn Klaviyo mathematisch bestimmen kann, ob eine Variante eine bessere Performance erzielt. Bei Kampagnen beobachtet Klaviyo sowohl die Anzahl der Personen, die eine Nachricht erhalten haben, als auch die Gewinnwahrscheinlichkeit, also wie wahrscheinlich es ist, dass eine Variante bessere Ergebnisse liefert, basierend darauf, wie stark sie die andere(n) Variante(n) übertrifft.

Bei A/B-Tests solltest du jeden Faktor vermeiden, der deine Zielgruppe wesentlich beeinflussen kann; teste z. B. nicht kurz vor einem Feiertagswochenende erneut, wenn deine Zielgruppe viel eher nach deinen E-Mails sucht.

Wenn es um A/B-Test von Kampagnen geht, gibt es vier Kategorien für statistische Signifikanz:

• Statistisch signifikant
• Vielversprechend
• Statistisch nicht signifikant
• Uneindeutig

In den nächsten Abschnitten gehen wir durch, wann ein Test in jede dieser Kategorien fällt.

Statistisch signifikant

Der statistisch signifikante Tag in deinem A/B-Test bedeutet, dass eine bestimmte Variante deines Tests mit hoher Wahrscheinlichkeit gegenüber der/den anderen Option(en) gewinnt. Er zeigt außerdem an, dass du die Ergebnisse reproduzieren könntest und das Gelernte auf deine zukünftigen Sendungen anwenden kannst.

Für Klaviyo-Kampagnen gilt ein A/B-Testergebnis als statistisch signifikant, wenn:

• 50 Personen haben jede Variante erhalten.
• Die Gewinnwahrscheinlichkeit beträgt mindestens 90 %.

So wird sichergestellt, dass eine ausreichend große Stichprobe von Empfänger*innen den A/B-Test gesehen hat und dass die Gewinnervariante die andere(n) bei der ausgewählten Gewinner-Metrik deutlich übertroffen hat (bei Kampagnen ist das entweder die Öffnungsrate, die Klickrate oder die Bestellrate).

Angenommen, du testest, ob ein Emoji im Betreff die Öffnungsrate beeinflusst. Die Testergebnisse zeigen, dass die Gewinnervariante die mit dem Emoji ist, und es gibt einen grünen Tag für statistische Signifikanz. In diesem Fall kannst du sicher sein, dass ein Betreff mit Emoji durchgehend besser abschneidet als einer ohne – und dass kein erneutes Testen erforderlich ist.

Du solltest jedoch immer nach bestem Wissen und Gewissen entscheiden, wenn du auf die Ergebnisse des Tests reagierst. Wenn du zum Beispiel eine ernstere oder eher bedrückende Nachricht sendest, ist ein Emoji möglicherweise nicht angemessen.

Vielversprechend

Wenn die Ergebnisse vielversprechend sind, sieht es so aus, als würde eine Variante besser abschneiden als die andere(n), aber die Belege aus dem Test allein sind nicht stark genug. Wenn ein Test als vielversprechend eingestuft wird, erscheint kein Tag, der darauf hinweist; du siehst jedoch eine Warnmeldung, die darauf hinweist, dass du den Test erneut ausführen solltest.

Wenn ein Testergebnis vielversprechend ist, solltest du einen weiteren A/B-Test durchführen, damit du mehr Sicherheit hast. Wenn du zum Beispiel auf das Emoji-Beispiel oben zurückkommst und die Ergebnisse vielversprechend sind, führe diesen Test erneut durch. Wenn du nach mehreren A/B-Tests weiterhin vielversprechende Ergebnisse zugunsten des Emojis siehst, kannst du darauf vertrauen, dass Emojis einen kleinen, aber positiven Einfluss auf deine Zielgruppe haben, und du solltest sie weiterhin in Kampagnen verwenden.

Bei Kampagnen gilt ein A/B-Testergebnis als vielversprechend, wenn:

• 50 Personen haben jede Variante erhalten.
• Die Gewinnwahrscheinlichkeit liegt zwischen 75 % und 89 %.

Statistisch nicht signifikant

Wenn etwas nicht statistisch signifikant ist, schlägt in dem Test nur eine Variante die andere(n) um einen geringen Betrag, und möglicherweise kannst du das Ergebnis in einem weiteren Test nicht reproduzieren.

In unserem Beispiel kann das bedeuten, dass die Variante mit dem Emoji die Variante(n) ohne Emoji geschlagen hat, aber nur um einen sehr geringen Betrag – nicht genug, damit das Testergebnis aussagekräftig ist.

In diesem Fall empfehlen wir, diesen Faktor noch 2 oder 3 Mal zu testen und die Ergebnisse genau im Auge zu behalten.

Wenn du weiterhin siehst, dass das Testergebnis als nicht statistisch signifikant eingestuft wird, teste nicht weiter; führe stattdessen einen A/B-Test zu einem anderen Thema durch. Wenn ein Test in diese Kategorie fällt, wird auf der Seite mit den A/B-Testergebnissen ein graues Tag mit der Aufschrift Nicht statistisch signifikant angezeigt.

Bei Kampagnen gilt ein A/B-Testergebnis als nicht statistisch signifikant, wenn entweder:

• Die Wahrscheinlichkeit liegt unter 75 % und mindestens 1.800 Personen haben jede Variante erhalten.
  Oder
• Weniger als 1.800 haben jede Variante erhalten, die prozentuale Differenz zwischen der führenden Variante und der zweitplatzierten Variante beträgt 4 % oder weniger, und die Gewinnwahrscheinlichkeit liegt unter 60 %.

Uneindeutig

Wenn ein Test nicht eindeutig ist, bedeutet das, dass nicht genug Informationen vorliegen, um zu bestimmen, ob etwas statistisch signifikant ist oder nicht. Wenn die Testergebnisse keines der Kriterien für die oben genannten Optionen erfüllen, fällt der Test in die Kategorie „nicht eindeutig“. Du kannst das mit dem Entscheidungsbaum visualisieren, der im nächsten Abschnitt gezeigt wird. Beachte, dass bei nicht eindeutigen Tests auf der Ergebnisseite kein Tag angezeigt wird, der angibt, ob der Test statistisch signifikant war oder nicht.

In diesem Fall möchtest du deine Zielgruppe möglicherweise für weitere Follow-up-Tests erweitern. Wenn du mit einer kleinen Gruppe testest, interpretiere die Ergebnisse so, wie es für dich passt, und teste erneut, um zu prüfen, ob deine Erkenntnisse korrekt sind. Konzentriere dich außerdem darauf, mehr über deine Abonnent*innen auf andere Weise zu erfahren, z. B. über Umfragen, Abstimmungen usw.

Entscheidungsbaum zur statistischen Signifikanz

Der folgende Entscheidungsbaum zeigt, wann ein A/B-Test in jede Kategorie fällt. Die grünen Linien zeigen an, dass die Antwort „ja“ ist, während Rot „nein“ bedeutet.

Weitere Ressourcen