So überprüfst du deine A/B-Test-Ergebnisse für die Kampagne

Du wirst lernen

Erfahre, welche Daten du auf der A/B-Test-Ergebnisseite finden kannst und was die einzelnen Indikatoren bedeuten. Die Informationen in diesem Leitfaden gelten sowohl für A/B-Tests mit E-Mail Kampagne als auch für SMS Kampagne.

A/B-Testing-Kampagnen können dir wertvolle Einblicke in deine Zielgruppe verschaffen, indem sie es dir leicht machen, herauszufinden, welche Änderungen du an deiner Versandstrategie vornehmen solltest. So erfährst du nicht nur die siegreiche Variante für einen A/B-Test, sondern auch andere wichtige Faktoren, wie die Gewinnwahrscheinlichkeit und die Details der Gewinnmetrik.

A/B-Test-Ergebnisse

Um die Ergebnisse eines A/B-Tests zu sehen: 

1. Navigiere zu der Kampagne, die du testen möchtest.
2. Wähle die Registerkarte A/B-Testergebnisse im Hauptbericht der Kampagne.
   

Test Übersicht

Im Abschnitt " Testergebnisse" siehst du einen Schnappschuss mit folgendem Inhalt:

• Gewonnene Variation
  Sobald ein Test abgeschlossen ist, wird die Variante, die gewonnen hat, angezeigt. 
• Status
  Ob der A/B-Test noch läuft (d.h. Analysen sammelt) oder abgeschlossen ist.
• Gewinnwahrscheinlichkeit
  Wie wahrscheinlich ist es, dass die Gewinnvariante nach Berücksichtigung des Zufalls tatsächlich die höchste Öffnungs-, Klick- oder Platzierungsrate hatte, und ob diese Wahrscheinlichkeit als statistisch signifikant angesehen wird.
• Aufzug
  Wie viel besser die siegreiche Variante gegenüber der anderen Variante abgeschnitten hat. Wird auf der Grundlage der gewonnenen Metrik berechnet (d.h. Öffnungsrate, Klickrate oder platzierte Bestellrate). Bei Tests mit 3+ Variation wird der zweitbeste Test zum Vergleich herangezogen.
• Gewonnene Metrik
  Die Ergebnisse der siegreichen Variation für die Metrik, die für den Test verwendet wurde. Wenn zum Beispiel die Öffnungsrate als siegreiche Metrik ausgewählt wurde, würde der Prozentsatz der Öffnungsrate angezeigt werden.

Unterhalb dieser Ergebnisse kannst du die Öffnungs-, Klick- und Bestellrate für jede Variante im Test einsehen.

Wie der Auftrieb berechnet wird

Der Hebeprozentsatz unterscheidet sich von dem Prozentsatz, der für deine Gewinnvariante angezeigt wird. Das liegt daran, dass der Prozentsatz, der neben jeder Variante angezeigt wird, der Prozentsatz der Personen ist, die mit der E-Mail interagiert haben (öffnen, klicken, bestellen), während der Lift der Prozentsatz der Verbesserung ist, den die Gewinnerin gegenüber der anderen Variante hatte.

Wenn du z.B. die Klickrate als Gewinnmetrik verwendest und Variation A 5/100 (5%) Klicks von Empfängern und Variation B 4/100 (4%) Klicks von Empfängern hat, beträgt der Unterschied zwischen den beiden Varianten 1 Klick. Das bedeutet, dass der Auftrieb 1/5 (20%) betrug. Mit anderen Worten: Der Lift betrug 20%, wobei Variation A eine Klickrate von 5% und Variation B eine Klickrate von 4% hatte.

Personalisierte Variationsergebnisse

Wenn du die Option gewählt hast, die Variation für jeden Empfänger zu personalisieren, siehst du auf der Seite mit den Testergebnissen eine leicht abweichende Metrik, darunter die folgenden:

• Gesamter A/B-Test-Lift
  Wie viel besser die beste Variante gegenüber der zweitbesten Variante abgeschnitten hat. Wird auf der Grundlage der Gewinner-Metrik (d.h. der Öffnungsrate oder der Klickrate) berechnet.
• Personalisierungs-Lift
  Prozentuale Angabe, wie viel erfolgreicher der personalisierte Test im Vergleich zu einem Standard-A/B-Test war.
• Personalisierung Klickrate
  Die durchschnittliche Klickrate unter allen Variationen des Profils, die ihre bevorzugte Variation erhalten haben.
• Profilmerkmale abgeleitet von Klaviyo AI
  Eine Liste der Daten, die von der KI verwendet wurde, um ein Muster unter den Profilen zu bestimmen, die eine bestimmte Variante bevorzugten, d.h. welche Faktoren wahrscheinlich dazu führten, dass jemand eine Variante gegenüber einer anderen bevorzugte. Klicke auf die einzelnen Variationen, um die verwendeten Daten zu sehen, da sie sich von Variation zu Variation unterscheiden.

Verstehen von Gewinnsicherheit und statistischer Signifikanz

Nehmen wir an, Sie möchten herausfinden, ob das Hinzufügen von Emojis zu Ihrer Betreffzeile Auswirkungen auf Ihre Open Rate mit Ihrer E-Mail-Liste hat. Wenn Sie den Test nur an 2 Abonnenten senden und die Emojis besser Open Rate sind, können Sie nicht mit Sicherheit sagen, dass der Rest Ihrer E-Mail-Liste das Gleiche denkt. Wenn Sie stattdessen einen Test mit 100 Personen in Ihrer E-Mail-Liste durchführen und feststellen würden, dass Emojis eine wesentlich höhere Open Rate haben, wären Sie viel zuversichtlicher, dass die Verwendung von Emojis in Ihren Betreffzeilen für Ihre Zielgruppe besser ist.

Unter Gewinnwahrscheinlichkeit siehst du, ob die angezeigte Variation statistisch signifikant ist oder nicht. Wenn sie als signifikant eingestuft wird, bedeutet das, dass die Variation eine hohe Gewinnwahrscheinlichkeit hat (d.h. 90% oder höher). Ein Test kann auch vielversprechend, nicht schlüssig oder statistisch nicht signifikant sein. Erfahre mehr über statistische Signifikanz in Klaviyo.

Zusätzliche Ressourcen

• Beste Praktiken für A/B-Tests
• Wie man ein Anmeldeformular A/B testet
• A/B-Test einer individuellen Flow-E-Mail
• Wie man eine E-Mail-Kampagne einem A/B-Test unterzieht