So führst du A/B-Tests für eine Flow-E-Mail durch
Übersicht
Hier erfährst du, wie du die A/B-Test-Funktion von Klaviyo nutzen kannst, um einzelne E-Mails in einem Flow zu testen, einschließlich Betreff, Rabatten, E-Mail-Inhalten usw. Du kannst A/B-Tests sogar verwenden, um herauszufinden, ob Klartext-E-Mails besser abschneiden als bildlastige HTML-E-Mails.
Über Flows und A/B-Tests
Flow-E-Mail-A/B-Tests umfassen folgende Prozesse:
- Eine einzelne Flow-E-Mail erstellen und diese E-Mail so planen, dass sie nach einer bestimmten Anzahl von Stunden oder Tagen gesendet wird, so wie du es normalerweise tun würdest.
- Zwei oder mehr E-Mail-Varianten für diese einzelne Flow-E-Mail konfigurieren – Betreff oder die wichtigsten E-Mail-Inhalte für jede Variante anpassen.
- Auswählen der Gewichtung jeder Variante, um den Prozentsatz der Empfänger*innen festzulegen, die jede E-Mail erhalten.
- Eine Gewinnervariante wird automatisch ausgewählt, nachdem die statistische Signifikanz erreicht ist, oder ein Gewinner wird manuell ausgewählt, basierend auf der höchsten Öffnungsrate oder Klickrate unter den Varianten.
Einen A/B-Test für eine Flow-E-Mail durchführen
Das Erstellen eines A/B-Tests kann ganz einfach über den Flow Builder erfolgen. Beachte, dass du nach Abschluss eines Tests für eine E-Mail bei Bedarf zukünftig einen weiteren Test für dieselbe E-Mail erstellen kannst.
Neuen Test erstellen
- Um A/B-Tests für eine einzelne E-Mail in einem beliebigen Flow einzurichten, klicke im Flow-Builder auf die E-Mail.
- Konfiguriere den Inhalt der E-Mail, falls du das noch nicht getan hast.
- Klicke im Bereich E-Mail-Details auf A/B-Test erstellen.
Wenn du einen A/B-Test für eine bestehende Flow-E-Mail erstellst, werden zwei neue Kopien der E-Mail erstellt. Wenn die Flow-E-Mail live ist und bereits gesendet wurde, werden nach der Veröffentlichung des A/B-Tests die Analytics für jede dieser Kopien separat getrackt. Wir tracken keine Analytics mehr für die ursprüngliche E-Mail, sobald du eine Variante hinzugefügt hast.
Varianten bearbeiten
Nachdem du einen neuen Test erstellt hast, wirst du direkt zur Registerkarte A/B-Test im Fenster Inhalte verwalten weitergeleitet. Jeder Test umfasst automatisch 2 Varianten. Wenn du auf eine Variante klickst, kannst du den Variantennamen, den Betreff, den Vorschautext, den Absendernamen und die Absender-E-Mail-Adresse bearbeiten.
- Um den Inhalt der E-Mail zu bearbeiten, klicke oben über der E-Mail-Vorschau rechts auf die Schaltfläche E-Mail bearbeiten.
Neue Variante hinzufügen
Wenn du eine weitere Variante hinzufügen möchtest, musst du 1 der bestehenden 2 Varianten duplizieren.
- Klicke auf das Klonsymbol rechts neben der Variante, auf der du deine neue Variante basieren möchtest.
- Dadurch wird eine neue Variante erstellt, die du so anpassen kannst, dass sie sich von den ursprünglichen 2 Varianten unterscheidet.
Eine Variante löschen
Ein A/B-Test muss mindestens 2 Varianten haben. Daher kann eine Variante nur gelöscht werden, wenn es 3 oder mehr gibt. Außerdem können Varianten nur gelöscht werden, solange ein Test den Status Entwurf hat. Das Löschen von Varianten ist für Live-A/B-Tests deaktiviert.
- Um eine Variante zu löschen, klicke auf das Papierkorb-Symbol rechts neben der Variante, die du löschen möchtest.
Wähle die Gewichtung jeder Variante
Unten im Tab A/B-Test siehst du den Abschnitt Testeinstellungen, in dem du die Gewichtung jeder Variante bearbeiten kannst – damit wird der Prozentsatz der Empfänger*innen festgelegt, die jede Variante erhalten.
Im Allgemeinen wird empfohlen, jede Variante gleich zu gewichten, aber du kannst die Prozentwerte nach Belieben anpassen.
Du kannst auch die Option auswählen, die Verteilung automatisch auszuwählen. Dadurch wird die Verteilung zunächst für jede Variante gleich festgelegt. Mit der Zeit, wenn eine der Varianten besser abschneidet als die anderen, passt Klaviyo die Verteilung automatisch an, um mehr Empfänger*innen zur besser performenden Variante zu leiten, während der Test noch läuft.
Auswahl des Gewinners konfigurieren
Tests wählen standardmäßig automatisch basierend auf der Klickrate eine*n Gewinner*in aus, aber das kann geändert werden.
- Im Abschnitt Testeinstellungen unten im Tab A/B-Test kannst du die Gewinner*innenauswahl auch konfigurieren, indem du unter Gewinner*innenauswahl auf den Link Konfigurieren klickst.
- Es wird ein Modal angezeigt, in dem du die Gewinnende Metrik stattdessen auf Öffnungsrate ändern kannst.
Für Flow-E-Mails sind nur Öffnungsrate und Klickrate als Gewinn-Metriken verfügbar.
Die Verwendung der Klickrate wird empfohlen, da viele Faktoren wie Apple Mail Privacy Protection (MPP) zu überhöhten Öffnungsraten führen können. Ausführliche Informationen zu MPP-Öffnungen findest du in unserem Leitfaden iOS 15: So bereitest du dich auf Änderungen bei Apple vor.
- Im Abschnitt Automatische Gewinner*innenauswahl gibt es 2 Optionen:
- Test beenden, wenn für die Gewinn-Metrik mit hoher statistischer Sicherheit (statistische Signifikanz) festgestellt wird, dass sie gewinnt: Diese Option ist standardmäßig aktiviert. Deaktiviere das Kästchen neben dieser Option, wenn du den Test stattdessen manuell beenden möchtest oder die Option auswählen möchtest, den Test nach einem bestimmten Datum zu beenden.
- Ein Datums-Limit festlegen: Mit dieser Option kannst du ein bestimmtes Datum auswählen, an dem der Test automatisch endet.
- Wenn du beide Optionen auswählst, endet der Test, sobald statistische Signifikanz erreicht ist oder sobald das angegebene Datum erreicht ist – je nachdem, was zuerst eintritt.
- Auf die Schaltfläche Einstellungen speichern klicken, um die Konfiguration zu bestätigen.
Einen Test veröffentlichen
- Sobald du deine Varianten konfiguriert hast, kannst du deinen Test veröffentlichen. Klicke im Tab A/B-Test oben rechts auf die Schaltfläche Test veröffentlichen.
- Es erscheint ein Modalfenster, in dem du aufgefordert wirst, die Veröffentlichung zu bestätigen. Klicke auf die Schaltfläche Test veröffentlichen, um zu bestätigen.
Einen Test löschen
- Wenn du einen Test löschen möchtest, klicke im Tab A/B-Test auf den Pfeil neben der Schaltfläche Test veröffentlichen und wähle Löschen aus.
A/B-Test-Ergebnisse anzeigen
- Du kannst die Ergebnisse eines Tests während der Ausführung oder nach Abschluss ansehen, indem du in der Flow-Erstellung auf die E-Mail klickst und auf die Schaltfläche Test anzeigen klickst.
Damit gelangst du zur Seite mit den A/B-Testergebnissen, wo du die folgenden Metriken ansehen kannst:
- Empfänger*innen
Wie viele Personen die E-Mail erhalten haben - Öffnungen
Wie viel Prozent/wie viele Personen die E-Mail geöffnet haben - Klicks
Welcher Prozentsatz bzw. wie viele Personen in der E-Mail auf einen Link geklickt haben - Conversion-Metrik
Gesamte Empfänger*innen, die die Conversion-Metrik für die E-Mail ausgelöst haben, z. B. Bestellung aufgegeben.
Weitere Informationen zur Seite mit den A/B-Testergebnissen findest du in unserem Artikel zu So überprüfst du E-Mail-A/B-Testergebnisse für Flows.
Gewinner manuell auswählen
In den meisten Fällen solltest du warten, bis dein A/B-Test automatisch eine*n Gewinner*in auswählt, aber es kann Situationen geben, in denen du einen A/B-Test vorzeitig beenden möchtest. Befolge in diesem Fall die folgenden Schritte.
- Auf der Seite A/B-Test-Ergebnisse kannst du manuell eine Gewinnervariante für den Test auswählen, indem du oben rechts auf der Seite auf die Schaltfläche Gewinner auswählen klickst.
- Es erscheint ein Modalfenster, in dem du aufgefordert wirst, aus jeder deiner bestehenden Varianten eine Gewinnerin auszuwählen. Wähle im Dropdown-Menü die Variante aus, die gewinnen soll, und klicke dann auf die Schaltfläche Gewinner*in auswählen.
Wenn du den Status einer Nachricht von „live“ in den Status „Entwurf“ änderst, wird der Test beendet und automatisch ein*e Gewinner*in basierend auf der Gewinnmetrik ausgewählt – die erste Variante wird ausgewählt, wenn es ein Unentschieden gibt.