So führst du A/B-Tests für ein Anmeldeformular durch

Übersicht

Erfahre, wie du A/B-Tests nutzt, um die Leistung verschiedener Elemente deiner Anmeldeformulare zu bewerten. Durch eine effektive Analyse der Ergebnisse kannst du sicherstellen, dass deine Formulare bei Website-Besucher*innen gut ankommen und zum Listenwachstum beitragen.

Vorbereitung für deinen A/B-Test

Bevor du mit der Erstellung deines A/B-Tests beginnst, beachte diese allgemeinen Richtlinien:

• Teste 1 Variable nach der anderen (z. B. das Gutscheinangebot).
  • Konzentriere dich darauf, jeweils nur eine einzelne Variable (ein Element) zu ändern, z. B. einen Gutschein, um die Auswirkungen klar beurteilen zu können.
• Mit Test-Varianten klein anfangen
  • Wenn du eine Variable testest (z. B. ein Gutscheinangebot), beginne mit 2 Varianten, um die Effektivität zu messen. Du kannst die Komplexität in späteren Tests erhöhen, wenn du mehr Daten sammelst, aber strebe für zuverlässige Ergebnisse bei weniger Traffic nicht mehr als 4 Varianten an.
• Vermeide Änderungen während des Tests
  • Ändere die Testeinstellungen nicht, während ein Test live ist, und bestätige deine Einstellungen daher vorher. Du kannst den Content der laufenden Varianten nicht bearbeiten. Um Inhaltsänderungen vorzubereiten, erstelle eine Entwurfskopie des Tests; der aktuelle Test bleibt live, bis du den neuen veröffentlichst.
• Eine lange Testdauer ermöglichen
  • Warte auf statistisch signifikante Ergebnisse oder bis du eine ausreichende Stichprobengröße an Betrachter*innen hast, um deinen Test zu beenden. Denk daran: Mehr Varianten erfordern mehr Traffic für zuverlässige Ergebnisse.
• Statistische Signifikanz verstehen
  • Mach dich damit vertraut, wie sich statistische Signifikanz auf die Ergebnisse eines A/B-Tests auswirkt.

Was sollte bei einem A/B-Test getestet werden?

A/B-Test erstellen

Einen Test erstellen

Es gibt 2 verschiedene Möglichkeiten, einen A/B-Test für dein Anmeldeformular zu erstellen:

• Klicke im Tab Anmeldeformular auf das 3-Punkte-Dropdown-Menü neben dem Formular, das du testen möchtest, und wähle A/B-Test erstellen aus.
• Öffne den Formular-Editor für das Anmeldeformular, das du testen möchtest. Wähle A/B-Test erstellen in der linken Seitenleiste aus und klicke dann im Bereich auf A/B-Test erstellen.

Egal, von wo aus du einsteigst:

1. Wähle im Fenster Test erstellen die Option A/B-Test aus, wenn eine Auswahl für den Testtyp angezeigt wird.

2. Als Nächstes gib deinem Test einen aussagekräftigen Namen. Wenn du Farben der Buttons in deinem Newsletter-Popup testest, könntest du den Test Newsletter – Farbe des Absenden-Buttons nennen.
3. Nachdem du deinen A/B-Test benannt hast, gib deinen Anmeldeformular-Varianten unterschiedliche Namen, damit du sie voneinander unterscheiden kannst.
   • Standardmäßig wird es den Namen Kopie # von Name des Formulars haben. Beim Beispiel von zuvor mit der Senden-Schaltfläche in unterschiedlichen Farben könnten deine Formulare Newsletter - Blau und Newsletter - Grau heißen.
   • Hier kannst du auch weitere Varianten hinzufügen, indem du die Schaltfläche „Kopieren“ auswählst. Dein A/B-Test kann insgesamt bis zu 7 Varianten enthalten. Beachte: Je mehr Varianten du hinzufügst, desto länger musst du deinen Test laufen lassen. Ein idealer A/B-Test hätte zwischen 2 und 4 Varianten. Im folgenden Beispiel gibt es 3 Varianten: das Originalformular und die 2 zusätzlichen Tests.
4. Nachdem du deinen Test konfiguriert hast, wähle Test erstellen aus.
   

Die Varianten konfigurieren

Nachdem du deinen Test erstellt hast, wirst du zurück zum Editor des Anmeldeformulars geleitet. Wähle im Bereich A/B-Test erstellen den Buchstaben einer Variante (A, B usw.) aus, um sie zu bearbeiten. Verwende das Namensfeld, das Kopiersymbol oder das Löschsymbol neben einer Variante, um sie umzubenennen, zu duplizieren oder zu löschen.

Sieh dir den Abschnitt „Was du A/B-testen solltest“ an, um dich inspirieren zu lassen.

Wenn du mit der Konfiguration deines Formulars fertig bist, wähle Weiter, um die Einstellungen zu testen.

A/B-Test-Einstellungen konfigurieren

Auf der Seite mit den Testeinstellungen kannst du Folgendes anpassen:

• Variantennamen
• Traffic-Auswahl (Gewichtung)
• Auswahl des Gewinners
• Anmerkungen

Für einen laufenden Test kannst du dein Formular auch auf der Seite Anmeldeformulare auswählen und dann A/B-Testergebnisse > A/B-Test bearbeiten auswählen.

Traffic-Auswahl

In diesem Abschnitt kannst du bestimmen, wie viel Traffic zu den Varianten deines Formulars geht. Standardmäßig wird jedes Formular einer gleich großen Anzahl von Viewer*innen angezeigt. Während dein Test läuft, leitet Klaviyo Traffic an das besser performende Formular weiter, wenn eine deiner Varianten die anderen übertrifft, während der Test noch läuft.

Aktiviere Datenverkehr manuell festlegen, um den Prozentsatz des Datenverkehrs festzulegen, der an jede Variante gesendet wird. Wenn du einen Prozentsatz änderst, passt Klaviyo die anderen Prozentsätze so an, dass die Gesamtsumme 100 % bleibt.

Auswahl des Gewinners

Ähnlich wie im Abschnitt zur Traffic-Auswahl hast du 2 Optionen, um festzulegen, wie der Gewinner des Tests ausgewählt wird. Du kannst den Test automatisch oder manuell beenden.

• Automatisch
  Wenn du deinen Test automatisch beendest, endet er, sobald es 1 Variante gibt, die die andere(n) auf einem statistisch signifikanten Niveau übertrifft, oder wenn er ein bestimmtes Datum erreicht. Du kannst auch beide Kästchen auswählen, und der Test endet, wenn 1 der Bedingungen erfüllt ist. Wenn du zum Beispiel beide Bedingungen ausgewählt hast und dein Formular nur einen Monat lang läuft, endet der Test, wenn das Formular nach einer Woche statistisch signifikante Ergebnisse hat.
  • Wenn du deinen Test beendest, sobald die Ergebnisse allein statistisch signifikant sind, übernimmt Klaviyos Data-Science-Modell die Berechnung für dich und wählt eine*n Gewinner*in aus.
  • Wenn du dich dafür entscheidest, den Test an einem bestimmten Datum zu beenden, endet der Test um Mitternacht Koordinierter Weltzeit (UTC).
• Manuell
  Wenn du deinen Test manuell beenden möchtest (deaktiviere beide Kontrollkästchen), wählst du sowohl die*n Gewinner*in als auch das Datum aus, an dem der Test endet.

Unabhängig davon, welche automatische Auswahl du wählst: Nachdem der Test abgeschlossen ist, ist das Formular, das gewinnt, live auf deiner Website.

1. Wähle A/B-Test veröffentlichen aus, sobald du die Bearbeitung deiner Testeinstellungen abgeschlossen hast.
2. Überprüfe im Bestätigungsfenster die Installations- und Inhaltsprüfungen, einschließlich etwaiger Einwilligungstexte oder Probleme mit Formularfeldern. Wenn dein Test ein eingebettetes Formular umfasst, stelle sicher, dass der Einbettungscode dort installiert ist, wo das Formular angezeigt werden soll.
3. Wähle Veröffentlichen aus, um den Test zu starten.

A/B-Test-Ergebnisse überprüfen

Während der Test läuft oder nachdem du deinen A/B-Test abgeschlossen hast, kannst du die Daten in deinem Konto überwachen. Navigiere zu Anmeldeformular, und wähle dann dein Formular aus. Im Tab Übersicht kannst du sehen, wie dein Formular insgesamt abschneidet. Wähle den Tab A/B-Testergebnisse aus, um speziell in die Analysen deines A/B-Tests einzutauchen.

Für einen laufenden Test kannst du auch die Einstellungen deines A/B-Tests bearbeiten. Wähle dazu A/B-Test bearbeiten oben rechts in der Registerkarte der A/B-Test-Ergebnisse. Hier kannst du die Testeinstellungen bearbeiten (z. B. Name, Gewichtung der Varianten, Einstellungen für die Gewinnerauswahl).

Du kannst den Inhalt der laufenden Varianten nicht ändern. Wähle unter A/B-Test-Einstellungen Inhalt bearbeiten aus, gib einen Namen für den neuen Test ein und wähle Weiter aus, um eine Entwurfskopie zu erstellen. Der aktuelle Test bleibt live, während du die Kopie bearbeitest. Wenn du den neuen Test veröffentlichst, ersetzt er den aktuellen Test.

Testübersicht

Unter Übersicht erhältst du eine Momentaufnahme davon, wie dein Test abschneidet. Verwende das Test-Dropdown-Menü oberhalb dieses Abschnitts, um zwischen aktuellen und vorherigen A/B-Tests zu wechseln. Die in Übersicht angezeigten Metriken umfassen:

• Gewinnwahrscheinlichkeit
  Die Gewinnwahrscheinlichkeit wird in der Karte oben links angezeigt. Dieser Prozentsatz schätzt die Wahrscheinlichkeit, dass die Formularübermittlungsrate der führenden Variante tatsächlich höher ist als die Raten der anderen Varianten. Sie kann steigen oder fallen, wenn mehr Daten erfasst werden. Die Bezeichnung unter der Gewinnwahrscheinlichkeit zeigt, ob die Ergebnisse statistisch signifikant sind. Bei einem abgeschlossenen Test zeigt die Übersicht außerdem, ob er automatisch oder manuell beendet wurde.
• „Startdatum“ und „Enddatum“
  Das Start- und Enddatum für den Test werden in der Karte oben rechts angezeigt. Während der Test läuft, zeigt Enddatum einen Platzhalter an, auch wenn du ein Enddatum festgelegt hast. Sobald der Test endet, werden das tatsächliche Enddatum und die tatsächliche Uhrzeit angezeigt.

Unter diesen Karten werden die Rohdaten aus jeder Formularvariante in deinem Test angezeigt. Neben jeder Variante siehst du eine Aufschlüsselung der folgenden Metriken nach Variante:

• Aktuelle Gewichtung
  Diese Metrik spiegelt die aktuelle Gewichtung des Traffics wider, der zu jedem Formular geleitet wird. Wenn du manuell ausgewählt hast, wie viel Traffic zu jedem Formular geht, stimmen diese Zahlen mit deinen aktuellen manuellen Traffic-Einstellungen überein. Wenn du das Data-Science-Modell von Klaviyo verwendest, siehst du, wie sich die Gewichtung des Traffics im Laufe der Zeit ändert: Es wird mehr Traffic zu dem Formular geleitet, das gewinnt, und du kannst beim Durchführen deines Tests mehr Abonnent*innen gewinnen.
• Bestellungen
  Die Anzahl der aufgegebenen Bestellungen, die diesem Formular zugeordnet sind.
• Durchschnittlicher Bestellwert(Average Order Vale [AOV])
  Der mit diesem Formular verbundene Ladenumsatz geteilt durch die Anzahl der mit dem Formular verbundenen Bestellungen.
• Umsatz
  Die Summe der Werte der aufgegebenen Bestellungen, die mit diesem Formular innerhalb des konfigurierten Rückblickfensters verknüpft sind. Deine Formular-Umsatzeinstellungen legen fest, ob Umsatz verknüpft wird, nachdem Besucher*innen einen Schritt absenden oder den Erfolgsschritt erreichen.

• Eindeutige Views
  Die Anzahl der eindeutigen Benutzer*innen, die eine Variante eines Anmeldeformulars angesehen haben (z.B. wenn 1 Website-Besucher*in dein Formular zweimal ansieht, zählt dies als 1 View).
• Einzigartige Übermittlungen
  Die Anzahl der eindeutigen Benutzer, die eine Anmeldeformular-Variante abschicken oder auf eine Schaltfläche „Zu URL wechseln“ klicken (z.B. wenn 1 Besucher*in dein Formular zweimal abschickt, zählt dies als einmal). Wenn das Formular sowohl eine Schaltfläche „Formular abschicken“ als auch eine Schaltfläche „Zur URL wechseln“ enthält, wird das Ereignis nur gezählt, wenn jemand das Formular absendet.
• Übermittlungsrate
  Der Wert Eindeutige Übermittlungen geteilt durch die Anzahl der Eindeutigen Aufrufe. Da diese Rate eindeutige Metriken verwendet, kann sie von der Übermittlungsrate auf dem Tab Übersicht abweichen, die Summen verwendet.

Diagramm zur Formularübermittlungsrate

Unter den Rohdaten befindet sich ein Diagramm deiner Varianten, das die Formularübermittlungsrate nach Variante über die Dauer des A/B-Tests anzeigt. Wenn du dich für ein bestimmtes Datum interessierst, fahre mit der Maus über Datenpunkte, um weitere Informationen zu erhalten.

Engagement-Raten

Wenn du einen A/B-Test für ein mehrstufiges Formular durchführst, gibt es eine Aufschlüsselung der Kundenengagement-Raten für jeden Schritt im Formular pro Variante, damit du verstehen kannst, an welcher Stelle Website-Besucher*innen das Formular möglicherweise abbrechen. Hier kannst du Folgendes analysieren:

• Interaktionsrate in Schritt 1
  Diese Metrik spiegelt den Prozentsatz der Nutzer*innen wider, die mit dem ersten Schritt der Anmeldeformular-Variante interagiert haben.
• Nutzer*innen, die alle Schritte abgeschlossen haben
  Diese Metrik zeigt den Prozentsatz der Nutzer*innen, die mit Engagement mit jedem Schritt der Anmeldeformular-Variante interagiert haben.

Unter diesen Daten gibt es ein Diagramm Schrittabschlussrate nach Variante, damit du die Kundenengagement-Raten pro Schritt visualisieren und die Raten zwischen Formularvarianten im A/B-Test vergleichen kannst.

FAQs

Ich habe eine Benachrichtigung, dass mein A/B-Test mit Zeitverzögerung die Formularübermittlungsrate anders berechnet. Warum ist das so?

Wenn du eine Zeitverzögerung für dein Formular testest, wird deine Formularübermittlungsrate berechnet, indem die Conversion von eindeutigen Nutzer*innen betrachtet wird, die berechtigt sind, dein Formular zu sehen (Berechtigte eindeutige Ansichten), statt die Anzahl der eindeutigen Besucher*innen, die das Formular tatsächlich angesehen haben.

Nehmen wir zum Beispiel an, dein A/B-Test ist gleichmäßig gewichtet und enthält die Nachricht: „Brauchst du Hilfe beim Stöbern?“ Im Test wird 1 Formular sofort angezeigt, sobald jemand deine Website besucht, und das andere Formular wird nach einer Minute geladen. Obwohl für beide Formulare gleich viele Personen in die Warteschlange gestellt werden, werden mehr Personen das Formular sehen, das sofort angezeigt wird. Obwohl nicht so viele Personen das Formular mit Verzögerung sehen werden, bietet es verwirrten Shopper*innen Hilfe und könnte daher trotzdem eine höhere Formularübermittlungsrate haben. Um zu testen, ob die Formularverzögerung zu einer höheren oder niedrigeren Übermittlungsrate führt, ist die Formularübermittlungsrate nicht die Anzahl der Übermittlungen als Prozentsatz der Anzahl der Aufrufe, sondern vielmehr die Anzahl der Übermittlungen als Prozentsatz der Anzahl der Personen, die das Formular hätten sehen können.

Ich habe im Abschnitt „Gewinnerauswahl“ meines A/B-Tests beide Kästchen ausgewählt. Endet der Test, wenn beide oder wenn eine der Bedingungen erfüllt ist?

Diese Kontrollkästchen funktionieren als ODER-Bedingung, was bedeutet, dass eine der beiden Bedingungen erfüllt sein kann und der Test dann beendet wird. Beide Bedingungen müssen nicht erfüllt sein, damit der Test beendet wird.

Kann ich die Testeinstellungen für meinen A/B-Test des Anmeldeformulars bearbeiten, nachdem er bereits läuft?

Ja. Öffne die A/B-Testergebnisse deines Formulars und wähle A/B-Test bearbeiten aus, um die Einstellungen zu ändern. Um Formularinhalte zu ändern, verwende Inhalt bearbeiten, um eine Entwurfskopie zu erstellen. Der aktuelle Test bleibt aktiv, bis du den neuen Test veröffentlichst.

Wenn jemand nicht mit einem Formular interagiert, das Teil eines A/B-Tests ist: Sehen die Person beim zweiten Anzeigen des Formulars eine andere Version des Formulars?

Klaviyo verwendet gespeicherte Browserdaten, um während des Tests dieselbe Variante erneut anzuzeigen. Ein*e Besucher*in sieht möglicherweise eine andere Variante, wenn diese Daten gelöscht werden oder nicht verfügbar sind, z. B. in einer neuen privaten Browsersitzung.

Wenn ich einen A/B-Test für mein Formular erstelle, wechselt mein Formular dann in den Entwurfsmodus?

Das Formular bleibt in dem Zustand, in dem sich dein Formular befand, bevor du den Test erstellt hast. Wenn es im Live-Modus war und du einen A/B-Test erstellst, ist die aktuelle Version live. Wenn es ein Entwurf war, befindet sich das Formular im Entwurfsmodus.

Ich hatte einen Tippfehler in meinem Formular-A/B-Test, also habe ich einen neuen veröffentlicht. Wie kann ich den Test mit dem Tippfehler dauerhaft löschen?

Das Löschen von Testergebnissen ist endgültig. Öffne die A/B-Testergebnisse deines Formulars und wähle den abgeschlossenen Test aus dem Test-Dropdown aus. Öffne das Pfeilmenü neben Details bearbeiten, wähle Testergebnisse löschen aus und wähle dann zur Bestätigung A/B-Test löschen aus.

Ich habe meinen Formular-A/B-Test live geschaltet, und erst danach ist mir aufgefallen, dass ich einen Tippfehler hatte. Ich möchte den Test nicht stoppen, ihn neu erstellen und dann wieder live schalten. Was soll ich jetzt machen?

1. Wähle in den A/B-Testergebnissen deines Formulars A/B-Test bearbeiten und dann Inhalt bearbeiten aus.
2. Gib einen Namen für den neuen Test ein und wähle Weiter.
3. Bearbeite den Entwurfs-Text. Verwende die Variantenbuchstaben in der Kopfzeile des Editors, um zwischen Varianten zu wechseln.
4. Wähle in der Kopfzeile des Editors Mit Testeinstellungen fortfahren aus, um die Einstellungen zu überprüfen.
5. Wähle A/B-Test veröffentlichen aus und bestätige mit Veröffentlichen. Dein ursprünglicher Test bleibt aktiv, bis du den Ersatz veröffentlichst.

Eine meiner Formularvarianten schneidet sehr schlecht ab, und ich möchte die Traffic-Menge aktualisieren, die zum Formular geleitet wird. Kann ich das tun?

Ja. Öffne die A/B-Testergebnisse deines Formulars und wähle A/B-Test bearbeiten aus. Aktiviere Traffic manuell festlegen, um die Prozentsätze zu ändern, oder deaktiviere die Option, damit Klaviyo den Traffic basierend auf der Performance anpasst.

Ich möchte testen, ob verschiedene Angebote eher zu einer Conversion führen. Wie stelle ich sicher, dass ich eine andere Welcome-Serie bereitstelle, die mit jedem Formular korreliert?

Du kannst die Liste anpassen, bei der eine Person sich anmeldet für jede Variante. Damit jede Variante zu verschiedenen Listen führt, klicke in dem Formular auf deinen CTA-Button und ändere im Abschnitt Button-Klickaktion die Option Liste zur Übermittlung. Von dort aus triggere deinen Welcome-Serie-Flow, basierend darauf, dass jemand*e sich bei der Liste jeder Variante anmeldet, und fasse mit dem zugehörigen Angebot nach.

Ich möchte nachverfolgen, wer jede Formularvariante des A/B-Tests sendet. Wie kann ich das machen?

Es gibt 2 Möglichkeiten, Personen zu identifizieren, die jede Variante absenden. Du kannst die Liste anpassen, an die eine Person sendet oder beim Absenden des Formulars ein ausgeblendetes Feld zu ihrem Profil hinzufügen. Mit diesen Methoden werden nicht alle Personen identifiziert, die nur eine Variante ansehen. Wenn du separate Listen verwenden möchtest, wähle die Absenden-Schaltfläche jeder Variante aus und ändere unter Aktion bei Schaltflächenklick die Option Liste zum Absenden. Wenn du ein ausgeblendetes Feld verwenden möchtest, füge unter Ausgeblendete Felder beim Absenden eine Eigenschaft hinzu und gib ihr für jede Variante einen anderen Wert. Erstelle dann ein Segment basierend auf der Eigenschaft und dem Wert.

Weitere Ressourcen