Die Experimentebereich verstehen
Übersicht
Erfahre, wie du im Abschnitt „Experimente“ den Erfolg deiner A/B-Tests analysierst. Im Abschnitt „Experimente“ werden A/B-Tests für Kampagnen und Flows zusammengeführt und es werden Erkenntnisse zu den getesteten Elementen, den verwendeten Marketingkanälen, Erfolgsquoten und weiteren Daten bereitgestellt.
Navigieren zum Abschnitt „Experimente“
Inhaber*innen, Admins, Manager*innen und Analyst*innen haben Zugriff auf den Abschnitt „Experimente“.
Navigiere zu Analytics > Experiments. Wenn auf der Seite Tabs angezeigt werden, wähle A/B-Tests aus.
Die Ansicht Kampagnen wird standardmäßig geöffnet. Wähle Flows aus, um Flow-A/B-Tests zu prüfen, oder Kampagnen, um zu den Kampagnen-A/B-Tests zurückzukehren.
Such- und Einstellungsoptionen verwenden
Oben in der Kampagnen - oder der Flow -Ansicht gibt es Optionen zum Anpassen deiner A/B-Testansicht sowie die Möglichkeit, nach einem bestimmten Test zu suchen.
Nach einem Test suchen
Gib im Suchfeld einen Kampagnennamen oder den Namen eines Flow-Tests oder ein Schlüsselwort in diesem Namen ein (z. B. „Testing Black Friday und Cyber Monday welcome“ oder „welcome“). Die Ergebnisse werden aktualisiert, während du tippst.
Die Suchfunktion ist für die Ansichten Kampagnen und Flow jeweils unabhängig. Mit anderen Worten: Deine Suchen sind in jeder Ansicht auf die jeweiligen Ergebnisse beschränkt.
Anpassung von Einstellungsoptionen
Verwende die Filter oben in jeder Ansicht, um die A/B-Test-Ergebnisse einzugrenzen. Wenn ein Filter nicht sichtbar ist, klicke auf das Filtersymbol, um Weitere Filter zu öffnen.
Änderungen an den Einstellungen gelten jeweils nur unabhängig für die Ansichten Kampagnen und Flow. Mit anderen Worten: Alle Auswahlen aus diesen Dropdown-Menüs sind auf Ergebnisse in der jeweiligen Ansicht beschränkt.
Einstellungen für den Zeitrahmen
Im Dropdown-Menü unter Zeitrahmen kannst du auswählen, dass du deine A/B-Testergebnisse überprüfst aus:
- Heute
Das umfasst Tests mit einem Startdatum von heute unter Verwendung von UTC. - Letzte 7 Tage
Dies umfasst alle Tests, die ein Startdatum innerhalb der letzten 7 Tage hatten. - Letzte 30 Tage
Dies umfasst alle Tests, deren Startdatum innerhalb der letzten 30 Tage lag. - Letzte 90 Tage
Dies umfasst Tests mit einem Startdatum innerhalb der letzten 90 Tage. - Dieses Jahr
Dies umfasst alle Tests, deren Startdatum innerhalb des laufenden Kalenderjahres bis heute lag. - Letztes Jahr
Dies umfasst alle Tests, deren Startdatum im vorherigen Kalenderjahr lag. Wenn es zum Beispiel derzeit 2023 ist, wären das alle Tests mit Startdaten ab 2022. - Seit Beginn
Das umfasst alle Tests, die ausgeführt wurden oder derzeit ausgeführt werden.
Der Datumsbereich kann laufende und abgeschlossene Tests sowie abgebrochene Kampagnentests umfassen.
Einstellungen für Marketingkanäle
Im Dropdown-Menü unter Kanal kannst du deine Ergebnisse eingrenzen auf:
- E-Mail
Diese Option zeigt nur E-Mail-A/B-Tests. - Textnachricht
Diese Option zeigt nur SMS-A/B-Tests.
Wenn deine Flow -Ansicht im Filter Kanal Push-Benachrichtigung oder WhatsApp enthält, wähle einen aus, um Tests für diesen Kanal anzuzeigen.
Um Tests über alle Kanäle hinweg zu sehen, entferne den Filter Kanal.
Metrik-Einstellungen
Im Drop-down-Menü unter Gewinnende Metrik kannst du deine Ergebnisse auf diejenigen eingrenzen, die nur bestimmte gewinnende Metriken enthalten, darunter:
- Öffnungsrate
Sieh nur die A/B-Tests, die Öffnungsrate als Gewinnmetrik verwenden. - Klickrate
Sieh nur die A/B-Tests, die Klickrate als gewinnende Metrik verwenden. - Bestellrate für „Bestellung aufgegeben“
In der Kampagnenansicht siehst du nur A/B-Tests, die die Bestellrate für Bestellung aufgegeben als Gewinnmetrik verwenden.
Um Tests unabhängig von ihrer Gewinnenden Metrik anzuzeigen, lösche den Filter Gewinnende Metrik.
Erfahre mehr über das Konfigurieren von A/B-Tests für E-Mails, SMS oder Flows, einschließlich der Frage, welche Gewinn-Metrik du für deine spezifischen Testanforderungen verwenden solltest.
Weitere Filtereinstellungen
Verwende diese Filter, um die Ergebnisse weiter einzugrenzen:
- Testtyp (nur in der Ansicht Kampagnen)
Wähle Inhaltstest für A/B-Tests von Nachrichteninhalten oder Elementen deiner E-Mails (z. B. unterschiedlicher Vorschautext und Betreff) oder Versandzeitpunkttest für Tests von Versandzeitpunkten von Nachrichten. Lösche diesen Filter, um beide Typen zu sehen. - Status
Wähle In Bearbeitung aus, um A/B-Tests zu sehen, die gerade laufen, oder Abgeschlossen, um Tests zu sehen, die beendet sind. - Statistische Signifikanz
Wähle Ist statistisch signifikant oder Nicht statistisch signifikant aus, um danach zu filtern, ob der Test statistische Signifikanz erreicht hat.
Klicke auf Löschen, um die Suche und Filter in der aktuellen Ansicht zurückzusetzen. Dadurch wird auch die ursprüngliche Auswahl für Zeitraum wiederhergestellt: Letzte 90 Tage oder Gesamter Zeitraum, wenn es in diesem Zeitraum keine Tests gab.
Deine erfassten A/B-Test-Ergebnisse prüfen
Beide Ansichten verwenden zunächst Letzte 90 Tage. Wenn in diesem Zeitraum keine Tests gefunden werden, wechselt die Ansicht zu Gesamter Zeitraum. Wähle Gesamter Zeitraum aus, um nach älteren Tests zu suchen. Die Ergebnisse umfassen laufende und abgeschlossene Tests sowie abgebrochene Kampagnentests, die deinen Filtern entsprechen. Entwurfs-Tests und Smart Send Time-Tests sind nicht enthalten.
Die Tabellen listen A/B-Tests statt einzelner Varianten auf. Ein Flow kann mehrere Tests haben. Klicke auf den Namen einer Kampagne oder eines Tests, um dir die Varianten detaillierter anzusehen.
Diese Tabellen enthalten die folgenden Spalten:
- Kampagnenname oder Testname
In der Ansicht „Kampagnen“ wird der Kampagnenname angezeigt. Wenn eine Kampagnennachricht einen anderen Namen hat, wird er nach dem Kampagnennamen angezeigt. In der Ansicht „Flow“ wird der Testname angezeigt. Beide Ansichten zeigen die Gewinn-Metrik unter dem Namen an.
Klicke auf einen Namen, um die Ergebnisse des A/B-Tests zu öffnen und die Varianten, Daten und das Gewinnergebnis zu überprüfen. - Kanal
Der getestete Marketingkanal, z. B. Textnachricht (angezeigt mit einem Sprechblasensymbol) oder E-Mail (angezeigt mit einem Briefumschlagsymbol). - Testtyp (nur in der Kampagnen -Ansicht)
Hier wird angezeigt, ob es sich bei dem Test um einen Inhaltstest (erkennbar am Stiftsymbol) oder einen Versandzeitpunkt-Test (erkennbar am Uhrensymbol) handelt. - Startdatum
Als der A/B-Test ursprünglich gestartet wurde. - Enddatum (nur in der Ansicht Flow)
Wann der Test endete. Ein Gedankenstrich wird angezeigt, wenn es noch nicht beendet ist. - Testgröße
Wie viele Profile über alle Varianten hinweg in den A/B-Test einbezogen wurden. - Gewinnwahrscheinlichkeit
Wie wahrscheinlich es ist, dass eine Variante die anderen Varianten bei der ausgewählten Gewinnmetrik übertrifft.
Die Gewinnwahrscheinlichkeit allein belegt keine statistische Signifikanz. Für Kampagnen muss jede Variante mehr als 50 Empfänger*innen haben, und eine Variante muss eine Gewinnwahrscheinlichkeit von mehr als 90 % haben. Bei Flow-Tests prüft Klaviyo zusätzlich zur Stichprobengröße auch das Kundenengagement und wie deutlich sich die Ergebnisse der Varianten unterscheiden. Sieh dir statistische Signifikanz in Flows und statistische Signifikanz in Kampagnen an, um die vollständigen Kriterien zu sehen. - Status
Abgeschlossen für einen beendeten Test, In Bearbeitung für einen laufenden Test oder Abgebrochen für einen abgebrochenen Kampagnentest.
Standardmäßig wird die Tabelle nach dem zuletzt gestarteten Test sortiert. Verwende die Pfeile neben Kampagnenname oder Testname, Kanal, Startdatum, Testgröße, Gewinnwahrscheinlichkeit oder Status, um aufsteigend oder absteigend zu sortieren. Du kannst in der Ansicht „Kampagnen“ auch nach Testtyp und in der Ansicht „Flow“ nach Enddatum sortieren.
Weitere Ressourcen
- How to A/B test an email campaign
Learn how to set up and run an A/B test for a campaign, how to read the test results, and a few use cases for A/B testing campaigns. Klaviyo's A/B testing feature for campaigns allows you to easily test different subject lines, message content, and send times so you can better understand what works best for your audience.
- How to A/B test a flow email
Learn how to use Klaviyo’s A/B testing experience to test individual emails in a flow, including things like subject line, discounts, and email content, etc. You can even use A/B tests to determine if plain-text emails perform better than image-heavy HTML emails.
- How to A/B test SMS campaigns
Learn how to A/B test SMS campaigns and what aspects to test in this article.
- Understanding statistical significance in Klaviyo campaigns
Learn how to tell whether or not an A/B test is considered statically significant or not. For instance, if a campaign variation A has an open rate of 15% and variation B has an open rate of 14%, how do you know for sure if variation A or B performed better?
- Understanding statistical significance in flows
Learn when an A/B test’s results are considered to be statistically significant in Klaviyo flows. This article will explain statistical significance for flows and when it is decided.