So überprüfst du die Ergebnisse deines A/B-Tests für Kampagnen

Übersicht

Erfahre, welche Daten du auf der Seite mit den A/B-Testergebnissen findest und was diese Indikatoren bedeuten. Die Informationen in diesem Leitfaden gelten sowohl für A/B-Tests mit E-Mail-Kampagnen als auch für SMS-Kampagnen.

A/B-Test-Kampagnen können wertvolle Erkenntnisse über deine Zielgruppe liefern, da sie es einfach machen, zu bestimmen, welche Änderungen du an deiner Sendestrategie vornehmen solltest. Du erfährst nicht nur die Gewinnervariante für einen A/B-Test, sondern auch andere wichtige Faktoren, wie z. B. den Prozentsatz der Gewinnsicherheit und Details zur Gewinnermetrik.

A/B-Test-Ergebnisse

So kannst du dir die Ergebnisse eines A/B-Tests ansehen:

1. Navigiere zu der Kampagne, die du testest.
2. Wähle im Hauptkampagnenbericht den Tab A/B-Testergebnisse aus.
   

Testübersicht

Im Abschnitt Testergebnisse siehst du eine Momentaufnahme mit Folgendem:

• Gewinnende Variante
  Sobald ein Test abgeschlossen ist, gewinnt die Variante, die gewonnen hat.
• Status
  Ob der A/B-Test läuft (d. h. Analysen erfasst) oder abgeschlossen ist.
• Gewinnwahrscheinlichkeit
  Wie wahrscheinlich es ist, dass die Gewinnvariante nach Berücksichtigung des Zufalls tatsächlich die höchste Öffnungs-, Klick- oder Bestellrate hatte und ob diese Wahrscheinlichkeit als statistisch signifikant gilt.
• Lift
  Wie viel besser die Gewinnvariante im Vergleich zur anderen Variante abgeschnitten hat. Berechnet basierend auf der Gewinnmetrik (d. h. Öffnungsrate, Klickrate oder Bestellrate). Bei Tests mit 3+ Varianten wird der zweitbeste Test für den Vergleich herangezogen.
• Gewinnende Metrik
  Die Ergebnisse der gewinnenden Variante für die Metrik, die für den Test verwendet wurde. Wenn beispielsweise die Öffnungsrate als gewinnende Metrik ausgewählt wurde, wird der Prozentsatz der Öffnungsrate angezeigt.

Unterhalb dieser Ergebnisse kannst du die Öffnungs-, Klick- und Bestellraten für jede Variante im Test überprüfen.

Wie der Lift berechnet wird

Der Lift-Prozentsatz unterscheidet sich vom Prozentsatz, der für deine Gewinnervariante angezeigt wird. Das liegt daran, dass der Prozentsatz, der neben jeder Variante angezeigt wird, den Prozentsatz der Personen angibt, die mit der E-Mail interagiert haben (geöffnet, geklickt, Bestellung aufgegeben), während der Lift den Prozentsatz der Verbesserung angibt, den die Gewinnervariante gegenüber der anderen Variante erzielt hat.

Wenn du zum Beispiel die Klickrate als deine Gewinn-Metrik verwendest und in Variante A 5/100 (5 %) Empfänger*innen klicken und in Variante B 4/100 (4 %) Empfänger*innen klicken, beträgt der Unterschied zwischen den Varianten 1 Klick. Das bedeutet, dass der Lift 1/5 (20 %) betrug. Mit anderen Worten: Der Lift lag bei 20 %, wobei Variante A eine Klickrate von 5 % und Variante B von 4 % hatte.

Ergebnisse personalisierter Varianten

Wenn du die Option gewählt hast, Varianten für jede*n Empfänger*in zu personalisieren, siehst du auf der Seite mit den Testergebnissen leicht andere Metriken, einschließlich der folgenden:

• Gesamter A/B-Test-Uplift
  Wie viel besser die beste Variante im Vergleich zur zweitbesten Variante abgeschnitten hat. Berechnet basierend auf der Gewinner-Metrik (d. h. Öffnungsrate oder Klickrate).
• Personalisierungs-Mehrwert
  Prozentsatz, um wie viel erfolgreicher der personalisierte Test im Vergleich zu einem Standard-A/B-Test war.
• Personalisierte Klickrate
  Die durchschnittliche Klickrate über alle Varianten von Profilen, die ihre bevorzugte Variante erhalten haben.
• Von Klaviyo AI abgeleitete Profilmerkmale
  Eine Liste der Daten, die die AI verwendet hat, um ein Muster unter Profilen zu bestimmen, die eine bestimmte Variante bevorzugt haben, d. h., welche Faktoren wahrscheinlich dazu geführt haben, dass jemand eine Variante der anderen vorgezogen hat. Klicke auf jede Variante, um die verwendeten Daten zu sehen, da sie je Variante unterschiedlich sind.

Gewinn-Konfidenz und statistische Signifikanz verstehen

Angenommen, du möchtest sehen, ob das Hinzufügen von Emojis zu deinem Betreff deine Öffnungsrate bei deiner E-Mail-Liste beeinflusst. Wenn du den Test nur an 2 Abonnent*innen sendest und die Emojis eine bessere Öffnungsrate haben, kannst du nicht abschließend sagen, dass der Rest deiner E-Mail-Liste genauso empfindet. Wenn du stattdessen mit 100 Personen in deiner E-Mail-Liste testest und feststellst, dass Emojis eine deutlich höhere Öffnungsrate haben, wärst du viel sicherer, dass Emojis in deinem Betreff für deine Zielgruppe besser sind.

Unter Gewinnwahrscheinlichkeit siehst du, ob die angezeigte Variante statistisch signifikant ist. Wenn dies als signifikant eingestuft wird, bedeutet das, dass die Variante eine hohe Gewinnwahrscheinlichkeit hat (d. h. 90 % oder höher). Ein Test kann auch vielversprechend, nicht eindeutig oder nicht statistisch signifikant sein. Weitere Informationen zur statistischen Signifikanz in Klaviyo.