So führst du A/B-Tests für ein Anmeldeformular durch

Übersicht

Erfahre, wie du A/B-Tests nutzt, um die Leistung verschiedener Elemente deiner Anmeldeformulare zu bewerten. Durch eine effektive Analyse der Ergebnisse kannst du sicherstellen, dass deine Formulare bei Website-Besucher*innen gut ankommen und zum Listenwachstum beitragen.

Vorbereitung für deinen A/B-Test

Bevor du mit der Erstellung deines A/B-Tests beginnst, beachte diese allgemeinen Richtlinien:

• Teste 1 Variable nach der anderen (z. B. das Gutscheinangebot).
  • Konzentriere dich darauf, jeweils nur eine einzelne Variable (ein Element) zu ändern, z. B. einen Gutschein, um die Auswirkungen klar beurteilen zu können.
• Mit Test-Varianten klein anfangen
  • Wenn du eine Variable testest (z. B. ein Gutscheinangebot), beginne mit 1 oder 2 Varianten, um die Wirksamkeit zu messen. Du kannst die Komplexität in späteren Tests erhöhen, während du mehr Daten sammelst, aber verwende nicht mehr als 4.
• Vermeide Änderungen während des Tests
  • Ändere die Testeinstellungen nicht, während sie live sind. Beachte, dass du die Formularvarianten selbst nicht bearbeiten kannst, sobald ein Test live ist. Du musst den Test beenden, um diese Art von Änderungen vorzunehmen. Bestätige daher alle Konfigurationen im Voraus.
• Eine lange Testdauer ermöglichen
  • Warte auf statistisch signifikante Ergebnisse oder bis du eine ausreichende Stichprobengröße an Betrachter*innen hast, um deinen Test zu beenden. Denk daran: Mehr Varianten erfordern mehr Traffic für zuverlässige Ergebnisse.
• Statistische Signifikanz verstehen
  • Mach dich damit vertraut, wie sich statistische Signifikanz auf die Ergebnisse eines A/B-Tests auswirkt.

Was sollte bei einem A/B-Test getestet werden?

A/B-Test erstellen

Einen Test erstellen

Es gibt 2 verschiedene Möglichkeiten, einen A/B-Test für dein Anmeldeformular zu erstellen:

• Klicke im Tab Anmeldeformular auf das 3-Punkte-Dropdown-Menü neben dem Formular, das du testen möchtest, und wähle A/B-Test erstellen aus.
• Öffne den Formular-Editor für ein Anmeldeformular, das du testen möchtest, und wähle oben in der Ecke A/B-Test erstellen aus.

Egal, von wo aus du einsteigst:

1. Wähle A/B-Test erstellen aus, um loszulegen.
   

2. Als Nächstes gib deinem Test einen aussagekräftigen Namen. Wenn du Farben der Buttons in deinem Newsletter-Popup testest, könntest du den Test Newsletter – Farbe des Absenden-Buttons nennen.
3. Nachdem du deinen A/B-Test benannt hast, gib deinen Varianten des Anmeldeformulars unterschiedliche Namen, damit du sie voneinander unterscheiden kannst.
   • Standardmäßig wird es den Namen Kopie # von Name des Formulars haben. Beim Beispiel von zuvor mit der Senden-Schaltfläche in unterschiedlichen Farben könnten deine Formulare Newsletter - Blau und Newsletter - Grau heißen.
   • Hier kannst du auch weitere Variante hinzufügen, indem du die Schaltfläche „Kopieren“ auswählst. Du kannst bis zu 7 Variante zu deinem A/B-Test hinzufügen. Beachte: Je mehr Variante du hinzufügst, desto länger musst du deinen Test laufen lassen. Ein idealer A/B-Test hätte zwischen zwei und vier Variante. Im folgenden Beispiel gibt es drei Variante: das ursprüngliche Formular und die 2 zusätzlichen Tests.
4. Nachdem du deinen Test konfiguriert hast, wähle Test erstellen aus.
   

Die Varianten konfigurieren

Nachdem du deinen Test erstellt hast, wirst du zurück zum Editor für das Anmeldeformular geleitet. Du kannst zwischen den verschiedenen Varianten deines Formulars wechseln, indem du den Namen deines Formulars auswählst. In diesem Menü kannst du außerdem den Namen der Variante ändern, eine zusätzliche Variante erstellen oder die Variante löschen.

Sieh dir den Abschnitt „Was du A/B-testen solltest“ an, um dich inspirieren zu lassen.

Wenn du mit der Konfiguration deines Formulars fertig bist, wähle Weiter zu den Testeinstellungen.

A/B-Test-Einstellungen konfigurieren

Auf der Seite mit den Testeinstellungen werden hier die anpassbaren Einstellungen deines Tests angezeigt. Anpassen solltest du Folgendes in Betracht ziehen:

• Variantennamen
• Traffic-Auswahl (Gewichtung)
• Auswahl des Gewinners
• Anmerkungen

Beachte, dass du die Seite mit den Testeinstellungen auch erreichst, indem du in der Listenansicht der Anmeldeformulare dein Anmeldeformular auswählst und dann zu A/B-Test-Ergebnisse > Test bearbeiten navigierst.

Traffic-Auswahl

In diesem Abschnitt kannst du bestimmen, wie viel Traffic zu den Varianten deines Formulars geht. Standardmäßig wird jedes Formular einer gleich großen Anzahl von Viewer*innen angezeigt. Während dein Test läuft, leitet Klaviyo Traffic an das besser performende Formular weiter, wenn eine deiner Varianten die anderen übertrifft, während der Test noch läuft.

Wenn du Gewichtung – Manuell auswählst, kannst du festlegen, wie viel Traffic zu jeder Variante des Formulars gehen soll. Die Beträge müssen sich zu 100 % summieren.

Auswahl des Gewinners

Ähnlich wie im Abschnitt zur Traffic-Auswahl hast du 2 Optionen, um festzulegen, wie der Gewinner des Tests ausgewählt wird. Du kannst den Test automatisch oder manuell beenden.

• Automatisch
  Wenn du deinen Test automatisch beendest, endet er, sobald es 1 Variante gibt, die die andere(n) auf einem statistisch signifikanten Niveau übertrifft, oder wenn er ein bestimmtes Datum erreicht. Du kannst auch beide Kästchen auswählen, und der Test endet, wenn 1 der Bedingungen erfüllt ist. Wenn du zum Beispiel beide Bedingungen ausgewählt hast und dein Formular nur einen Monat lang läuft, endet der Test, wenn das Formular nach einer Woche statistisch signifikante Ergebnisse hat.
  • Wenn du deinen Test beendest, sobald die Ergebnisse allein statistisch signifikant sind, übernimmt Klaviyos Data-Science-Modell die Berechnung für dich und wählt eine*n Gewinner*in aus.
  • Wenn du dich dafür entscheidest, den Test an einem bestimmten Datum zu senden, endet der Test um Mitternacht koordinierter Weltzeit (UTC).
• Manuell
  Wenn du deinen Test manuell beenden möchtest (deaktiviere beide Kontrollkästchen), wählst du sowohl die*n Gewinner*in als auch das Datum aus, an dem der Test endet.

Unabhängig davon, welche automatische Auswahl du wählst: Nachdem der Test abgeschlossen ist, ist das Formular, das gewinnt, live auf deiner Website.

Wähle A/B-Test veröffentlichen aus, sobald du mit der Bearbeitung deiner Testeinstellungen fertig bist. Bevor dein Test läuft, prüft Klaviyo, ob es ein Problem beim Veröffentlichen von Formularen auf deiner Website gibt und ob dein Formular alle erforderlichen Inhalte hat (z. B. Einwilligungstext, CTA, Absenden-Felder usw.).

A/B-Test-Ergebnisse überprüfen

Während der Test läuft oder nachdem du deinen A/B-Test abgeschlossen hast, kannst du die Daten in deinem Konto überwachen. Navigiere zu Anmeldeformular, und wähle dann dein Formular aus. Im Tab Übersicht kannst du sehen, wie dein Formular insgesamt abschneidet. Wähle den Tab A/B-Testergebnisse aus, um speziell in die Analysen deines A/B-Tests einzutauchen.

Von hier aus kannst du auch die Einstellungen deines A/B-Tests bearbeiten. Wähle dazu oben rechts im Tab mit den A/B-Testergebnissen A/B-Test bearbeiten . Hier kannst du die Testeinstellungen bearbeiten (d. h. Name, Gewichtung der Variante, Einstellungen für die Gewinnerauswahl).

Du kannst den Inhalt der Testformulare nicht ändern, während der Test durchgeführt wird. Um den Inhalt zu bearbeiten, klicke auf Inhalt bearbeiten, um den Test zu beenden, klone einen neuen Test zum Bearbeiten und beginne erneut.

Testübersicht

Unter Übersicht erhältst du eine Momentaufnahme davon, wie dein Test läuft. Du kannst das Dropdown-Menü in der linken oberen Ecke verwenden, um zwischen den verschiedenen Varianten in deinem A/B-Test zu wechseln. Zu den in der Übersicht angezeigten Metriken gehören:

• Gewinnwahrscheinlichkeit
  Die Gewinnwahrscheinlichkeit wird in der Karte oben links angezeigt. Dieser Prozentsatz gibt an, wie wahrscheinlich es ist, dass die aktuell führende Variante der statistisch signifikante Gewinner sein wird. Wenn dein Test mehr Zuschauer*innen gewinnt und über einen längeren Zeitraum live ist, solltest du sehen, dass diese Zahl steigt. Du erkennst daran, dass die Testergebnisse statistisch signifikant sind, indem du dir das Label unterhalb der Gewinnwahrscheinlichkeit ansiehst. Wenn du dir einen abgeschlossenen Test ansiehst, gibt es außerdem einen Grund dafür, warum der Test beendet wurde (z. B. manuell beendet, indem ein*e Gewinner*in ausgewählt wurde).
• Startdatum und Enddatum
  Das Start- und Enddatum für den Test werden oben rechts in der Karte aufgeführt. Wenn du kein Enddatum festgelegt hast, bleibt dieses Feld leer. Wenn der Test abgeschlossen ist, siehst du das Datum, an dem die Gewinner*in ausgewählt wurde.

Unter diesen Karten werden die Rohdaten aus jeder Formularvariante in deinem Test angezeigt. Neben jeder Variante siehst du eine Aufschlüsselung der folgenden Metriken nach Variante:

• Aktuelle Gewichtung
  Diese Metrik spiegelt die aktuelle Gewichtung des Traffics wider, der an jedes Formular geleitet wird. Wenn du manuell ausgewählt hast, wie viel Traffic an jedes Formular geht, stimmen diese Zahlen mit den Einstellungen überein, die du beim Starten des Tests ausgewählt hast. Wenn du Klaviyos Data-Science-Modell verwendest, siehst du, wie sich die Gewichtung des Traffics im Laufe der Zeit verändert: Mehr Traffic geht an das Formular, das gewinnt, und du kannst beim Ausführen deines Tests mehr Abonnent*innen gewinnen.
• Bestellungen
  Die Anzahl der aufgegebenen Bestellungen, die diesem Formular zugeordnet sind.
• Durchschnittlicher Bestellwert(Average Order Vale [AOV])
  Der mit diesem Formular verbundene Ladenumsatz geteilt durch die Anzahl der mit dem Formular verbundenen Bestellungen.
• Umsatz
  Die Summe der getätigten Bestellungen (€), die nach der Übermittlung eines Formulars innerhalb des Rückblickfensters erfolgt sind.
  

• Eindeutige Views
  Die Anzahl der eindeutigen Benutzer*innen, die eine Variante eines Anmeldeformulars angesehen haben (z.B. wenn 1 Website-Besucher*in dein Formular zweimal ansieht, zählt dies als 1 View).
• Einzigartige Übermittlungen
  Die Anzahl der eindeutigen Benutzer, die eine Anmeldeformular-Variante abschicken oder auf eine Schaltfläche „Zu URL wechseln“ klicken (z.B. wenn 1 Besucher*in dein Formular zweimal abschickt, zählt dies als einmal). Wenn das Formular sowohl eine Schaltfläche „Formular abschicken“ als auch eine Schaltfläche „Zur URL wechseln“ enthält, wird das Ereignis nur gezählt, wenn jemand das Formular absendet.
• Übermittlungsrate
  Der Wert für Unique submitted des Formulars geteilt durch die Anzahl der Unique views. Da diese Rate eindeutige Metriken verwendet, unterscheidet sie sich von der Übermittlungsrate auf dem Tab Übersicht, die Gesamtsummen verwendet.

Diagramm zur Formularübermittlungsrate

Unter den Rohdaten befindet sich ein Diagramm deiner Varianten, das die Formularübermittlungsrate nach Variante über die Dauer des A/B-Tests anzeigt. Wenn du dich für ein bestimmtes Datum interessierst, fahre mit der Maus über Datenpunkte, um weitere Informationen zu erhalten.

Engagement-Raten

Wenn du einen A/B-Test für ein mehrstufiges Formular durchführst, gibt es eine Aufschlüsselung der Kundenengagement-Raten pro Schritt im Formular je Variante, sodass du nachvollziehen kannst, wo Website-Besucher*innen das Formular möglicherweise verlassen. Hier kannst du Folgendes analysieren:

• Interaktionsrate in Schritt 1
  Diese Metrik spiegelt den Prozentsatz der Nutzer*innen wider, die mit dem ersten Schritt der Anmeldeformular-Variante interagiert haben.
• Nutzer*innen, die alle Schritte abgeschlossen haben
  Diese Metrik zeigt den Prozentsatz der Nutzer*innen, die mit Engagement mit jedem Schritt der Anmeldeformular-Variante interagiert haben.

Unter diesen Daten befindet sich ein Diagramm zur Schrittabschlussrate nach Variante, damit du die Kundenengagementraten pro Schritt visualisieren und die Raten zwischen Formularvarianten im A/B-Test vergleichen kannst.

FAQs

Ich habe eine Benachrichtigung erhalten, dass mein Formular, das einen zeitverzögerten A/B-Test hat, die Formularübermittlungsrate anders berechnet. Warum ist das so?

Wenn du in deinem Formular eine Zeitverzögerung testest, wird deine Formularübermittlungsrate berechnet, indem die Conversions der eindeutigen Nutzer*innen betrachtet werden, die berechtigt sind, dein Formular zu sehen (Berechtigte eindeutige Aufrufe), und nicht die Gesamtzahl der Aufrufe, die das Formular hatte.

Nehmen wir zum Beispiel an, dein A/B-Test ist gleichmäßig gewichtet und enthält die Nachricht: „Brauchst du Hilfe beim Stöbern?“ Im Test wird 1 Formular sofort angezeigt, sobald jemand deine Website besucht, und das andere Formular wird nach einer Minute geladen. Obwohl für beide Formulare gleich viele Personen in die Warteschlange gestellt werden, werden mehr Personen das Formular sehen, das sofort angezeigt wird. Obwohl nicht so viele Personen das Formular mit Verzögerung sehen werden, bietet es verwirrten Shopper*innen Hilfe und könnte daher trotzdem eine höhere Formularübermittlungsrate haben. Um zu testen, ob die Formularverzögerung zu einer höheren oder niedrigeren Übermittlungsrate führt, ist die Formularübermittlungsrate nicht die Anzahl der Übermittlungen als Prozentsatz der Anzahl der Aufrufe, sondern vielmehr die Anzahl der Übermittlungen als Prozentsatz der Anzahl der Personen, die das Formular hätten sehen können.

Ich habe für den Teil „Gewinnerauswahl“ meines A/B-Tests beide Kästchen ausgewählt. Wird der Test beendet, wenn beide oder eine der Bedingungen erfüllt sind?

Diese Kontrollkästchen funktionieren als ODER-Bedingung, was bedeutet, dass eine der beiden Bedingungen erfüllt sein kann und der Test dann beendet wird. Beide Bedingungen müssen nicht erfüllt sein, damit der Test beendet wird.

Kann ich die Testeinstellungen für meinen A/B-Test des Anmeldeformulars bearbeiten, nachdem er bereits läuft?

Ja, öffne deinen A/B-Test über dein Formular und wähle A/B-Test bearbeiten aus, um die Einstellungen zu ändern. Den Inhalt der Formulare kannst du jedoch nicht ändern, ohne deinen aktuellen Test zu beenden und einen neuen zu starten.

Wenn jemand nicht mit einem Formular interagiert, das Teil eines A/B-Tests ist: Sehen die Person beim zweiten Anzeigen des Formulars eine andere Version des Formulars?

Nein, sie erhalten beim ersten Aufrufen des Formulars ein Cookie und sehen nur diese Variante, es sei denn, sie löschen ihre Cookie oder surfen in einem anonymen Browser.

Wenn ich einen A/B-Test für mein Formular erstelle, wechselt mein Formular dann in den Entwurfsmodus?

Das Formular bleibt in dem Zustand, in dem sich dein Formular befand, bevor du den Test erstellt hast. Wenn es im Live-Modus war und du einen A/B-Test erstellst, ist die aktuelle Version live. Wenn es ein Entwurf war, befindet sich das Formular im Entwurfsmodus.

Ich hatte einen Tippfehler in meinem Formular-A/B-Test, also habe ich einen neuen veröffentlicht. Wie kann ich den Test mit dem Tippfehler dauerhaft löschen?

Gehe zu den Ergebnissen des Tests, den du entfernen möchtest, indem du das Formular auswählst und zu den A/B-Test-Einstellungen gehst, und wähle dann Test löschen.

Ich habe meinen Formular-A/B-Test live geschaltet, und erst danach ist mir aufgefallen, dass ich einen Tippfehler hatte. Ich möchte den Test nicht stoppen, ihn neu erstellen und dann wieder live schalten. Was soll ich jetzt machen?

Wechsle zur Seite „A/B-Test-Einstellungen“, während der Test läuft, indem du in der Formularanalyse auf A/B-Test bearbeiten klickst, und klicke auf Inhalt bearbeiten. Dadurch wird ein neuer A/B-Test-Entwurf erstellt. Du kannst ihn nach Bedarf bearbeiten und ihn dann live schalten, indem du auf A/B-Test veröffentlichen klickst.

Eine meiner Formularvarianten schneidet sehr schlecht ab, und ich möchte die Traffic-Menge aktualisieren, die zum Formular geleitet wird. Kann ich das tun?

Ja. Klicke auf dein Formular und gehe zu den A/B-Test-Einstellungen für dein jeweiliges Formular. Wähle A/B-Test bearbeiten aus und ändere entweder die Gewichtung oder schalte auf automatische Gewichtungen um, bei denen das Modell die Performance berücksichtigt.

Ich möchte testen, ob verschiedene Angebote eher zu einer Conversion führen. Wie stelle ich sicher, dass ich eine andere Welcome-Serie bereitstelle, die mit jedem Formular korreliert?

Du kannst die Liste anpassen, in die eine Person einträgt, und zwar für jede Variante. Damit jede Variante an unterschiedliche Listen gesendet wird, klicke in dem Formular auf deine CTA-Schaltfläche und ändere Liste zum Übermitteln unter dem Abschnitt Aktion bei Schaltflächenklick. Von dort aus löse deinen Flow für die Welcome-Serie aus, basierend darauf, dass jemand der Liste jeder Variante beitritt, und sende dann das zugehörige Angebot.

Ich möchte nachverfolgen, wer jede Formularvariante des A/B-Tests sieht. Wie kann ich das tun?

Es gibt 2 Möglichkeiten, wie du das machen kannst. Du kannst die Liste anpassen, an die sich eine Person anmeldet, oder du kannst ein verborgenes Feld hinzufügen, das übermittelt wird, wenn jemand auf dein Formular klickt. Wenn du möchtest, dass die verschiedenen Varianten an unterschiedliche Listen gehen, wähle die Schaltfläche aus und ändere die Einstellung Liste zum Übermitteln unter dem Abschnitt Aktion bei Schaltflächenklick. Wenn du über ein verborgenes Feld übermitteln möchtest, fügst du im Abschnitt Ausgeblendete Felder übermitteln eine Eigenschaft hinzu. Erstelle dann ein Segment basierend auf jeder Eigenschaft.

Weitere Ressourcen