So überprüfst du die Ergebnisse deines A/B-Tests für Kampagnen

Übersicht

Erfahre, welche Daten du auf der Ergebnisseite des A/B-Tests finden kannst und was jede dieser Kennzahlen bedeutet. Die Informationen in diesem Leitfaden gelten sowohl für A/B-Tests mit E-Mail-Kampagnen als auch für SMS-Kampagnen.

A/B-Test-Kampagnen können wertvolle Erkenntnisse über deine Zielgruppe liefern, indem sie es einfach machen, zu bestimmen, welche Änderungen du an deiner Versandstrategie vornehmen solltest. Du erfährst nicht nur die gewinnende Variante für einen A/B-Test, sondern auch andere wichtige Faktoren wie die Gewinnwahrscheinlichkeit und Details zur gewinnenden Metrik.

A/B-Test-Ergebnisse

So kannst du dir die Ergebnisse eines A/B-Tests ansehen:

1. Navigiere zu der Kampagne, die du testest.
2. Wähle im Hauptkampagnenbericht den Tab A/B-Testergebnisse aus.
   

Testübersicht

Bei einem Standard-A/B-Test zeigt der Abschnitt Testübersicht Folgendes:

• Gewinnende Variante
  Sobald ein Test abgeschlossen ist, ist die Variante mit der höchsten Gewinn-Metrik für die Ergebnisse, die du dir ansiehst, die Gewinnerin.
• Status
  Ob der A/B-Test läuft (d. h. Analysen erfasst) oder abgeschlossen ist.
• Gewinnwahrscheinlichkeit
  Wie wahrscheinlich es ist, dass die Gewinnvariante nach Berücksichtigung des Zufalls tatsächlich die höchste Öffnungs-, Klick- oder Bestellrate hatte und ob diese Wahrscheinlichkeit als statistisch signifikant gilt.
• Lift
  Wie viel besser die Gewinnvariante im Vergleich zur anderen Variante abgeschnitten hat. Berechnet basierend auf der Gewinnmetrik (d. h. Öffnungsrate, Klickrate oder Bestellrate). Bei Tests mit 3+ Varianten wird der zweitbeste Test für den Vergleich herangezogen.
• Gewinnende Metrik
  Die Ergebnisse der gewinnenden Variante für die Metrik, die für den Test verwendet wurde. Wenn beispielsweise die Öffnungsrate als gewinnende Metrik ausgewählt wurde, wird der Prozentsatz der Öffnungsrate angezeigt.

Unter diesen Ergebnissen kannst du die Öffnungs- und Klickraten für E-Mails für jede Variante prüfen oder die Klickrate für SMS. Die Tabelle zeigt auch Conversion-Ergebnisse, wenn eine Conversion-Metrik verfügbar ist; das ist nicht immer „Bestellung aufgegeben“.

Für einen abgeschlossenen Standard-A/B-Test mit einer Testgruppe, die kleiner als die gesamte Zielgruppe ist, verwende die Tabs in Testübersicht, um Folgendes zu vergleichen:

• Ergebnisse des Testzeitraums zeigt Interaktionen während des Testzeitraums von Empfänger*innen in der Testgruppe.
• Kontinuierliche Ergebnisse umfassen spätere Interaktionen aus derselben Testgruppe. Die führende Variante kann sich ändern, wenn weitere Ergebnisse eingehen.

Sieh dir unten die Übersicht über den Gewinnerversand an, um Interaktionen mit der Gewinnervariante zu prüfen, die nach dem Testzeitraum an die übrigen Empfänger*innen gesendet wurde.

Wie der Lift berechnet wird

Der Lift-Prozentsatz unterscheidet sich von dem Prozentsatz, der für deine Gewinnervariante angezeigt wird. Das liegt daran, dass der Prozentsatz, der neben jeder Variante angezeigt wird, den Anteil der Personen angibt, die mit der Nachricht interagiert haben (geöffnet, geklickt, Bestellung aufgegeben), während der Lift den prozentualen Verbesserungswert angibt, den die Gewinnerin-Variante gegenüber der anderen Variante erzielt hat.

Wenn du zum Beispiel die Klickrate als deine Gewinn-Metrik verwendest und Variante A 5/100 (5 %) Empfänger*innen hat, die klicken, und Variante B 4/100 (4 %) Empfänger*innen hat, die klicken, beträgt der Unterschied 1 Prozentpunkt. Lift vergleicht diesen Unterschied mit der Klickrate von Variante B: (5 % − 4 %) / 4 % × 100 = 25 %. Variante A hat daher eine Klickrate von 5 % und einen Lift von 25 % gegenüber Variante B.

Ergebnisse personalisierter Varianten

Wenn du Personalisierte Varianten für jede*n Empfänger*in ausgewählt hast, wähle Testergebnisse des Testzeitraums aus, sobald der Test abgeschlossen ist, um die folgenden Metriken zu sehen:

• Gesamter A/B-Test-Uplift
  Die geschätzte Verbesserung durch personalisierte Varianten im Vergleich zur zweitbesten Variante in einem Standard-A/B-Test, basierend auf der Gewinn-Metrik (Öffnungsrate oder Klickrate).
• Personalization-Steigerung
  Die geschätzte Verbesserung durch personalisierte Varianten im Vergleich zum Senden der Gewinner-Variante aus einem Standard-A/B-Test an alle.
• Personalization Öffnungsrate oder Personalization Klickrate
  Die geschätzte Öffnungs- oder Klickrate für personalisierte Varianten, basierend auf Testempfänger*innen, die die Variante erhalten haben, die Klaviyo voraussichtlich bevorzugen würden. Die angezeigte Metrik hängt von der Gewinnmetrik ab, die du ausgewählt hast.
• Von Klaviyo AI abgeleitete Profilmerkmale
  Merkmale, die mit Empfänger*innen verbunden sind, die mit höherer Wahrscheinlichkeit mit einer bestimmten Variante interagieren. Jede Variante erweitern, um ihre Merkmale zu sehen, die sich zwischen Varianten unterscheiden können.

Überprüfe die Zusammenfassung personalisierter Sendungen für Interaktionen mit den personalisierten Varianten, die nach dem Testzeitraum gesendet wurden.

Win-Wahrscheinlichkeit und statistische Signifikanz verstehen

Angenommen, du möchtest sehen, ob das Hinzufügen von Emojis zu deinem Betreff deine Öffnungsrate bei deiner E-Mail-Liste beeinflusst. Wenn du den Test nur an 2 Abonnent*innen sendest und die Emojis eine bessere Öffnungsrate haben, kannst du nicht abschließend sagen, dass der Rest deiner E-Mail-Liste genauso empfindet. Wenn du stattdessen mit 100 Personen in deiner E-Mail-Liste testest und feststellst, dass Emojis eine deutlich höhere Öffnungsrate haben, wärst du viel sicherer, dass Emojis in deinem Betreff für deine Zielgruppe besser sind.

Unter Gewinnwahrscheinlichkeit kann ein abgeschlossener Standard-A/B-Test ein Label für statistische Signifikanz anzeigen. Ein Ergebnis ist statistisch signifikant, wenn seine Gewinnwahrscheinlichkeit über 90 % liegt und jede Variante mehr als 50 erfolgreiche E-Mail-Zustellungen oder versuchte SMS-Zustellungen hat. Ein Test kann außerdem vielversprechend, nicht eindeutig oder nicht statistisch signifikant sein. Bei vielversprechenden Ergebnissen wiederhole den Test, um den Befund zu bestätigen. Nicht eindeutige Ergebnisse zeigen kein Signifikanz-Label. Erfahre mehr über statistische Signifikanz in Klaviyo.

Weitere Ressourcen