Erste Schritte mit globalen Holdout-Gruppen
Übersicht
Erfahre, wie du globale Holdout-Gruppen verwendest, um die Auswirkungen und Wirksamkeit deines Marketings zu verstehen. Globale Holdout-Gruppen bieten eine Möglichkeit, eine Anzahl von Profilen von deinen Nachrichten auszuschließen, um den inkrementellen Erfolg deines Marketingprogramms zu ermitteln. Mit diesen Holdout-Gruppen kannst du den Basiswert deiner Marketingprogramme vergleichen und anschließend analysieren sowie Wege finden, diese Strategien kontinuierlich zu optimieren.
Bevor du anfängst
Du musst mindestens 400.000 Profile haben (beachte, dass dies die Gesamtzahl der Profile ist), um dich für Holdout-Gruppen zu qualifizieren. So wird sichergestellt, dass Klaviyo über genügend Profildaten verfügt, um die Holdout-Gruppe mit deinen anderen Profilen zu vergleichen, die Marketing erhalten. Wir empfehlen außerdem, Holdout-Gruppen 3 Monate lang auszuführen, um genügend Daten zu sammeln.
Erfahre mehr darüber, wann du Holdout-Gruppen verwenden solltest und wann nicht.
Holdout-Gruppen richtig verwenden
So verwendest du Holdout-Gruppen
Holdout-Gruppen solltest du verwenden, wenn du die Wirksamkeit deiner Marketingprogramme testen möchtest, sowie ggf. alle Änderungen, die du an diesen Strategien vornimmst. Holdout-Gruppen sind hilfreich, weil sie einen klaren Vergleich liefern, um zu zeigen, welche Auswirkungen deine Marketingstrategien haben, da sie keine Mitteilungen von dir erhalten.
Zum Beispiel solltest du Holdout-Gruppen in Betracht ziehen, wenn du Folgendes ermitteln möchtest:
- Der klare Wert und die Wirkung deines gesamten Marketingprogramms im Vergleich zu den Kosten.
- Wenn du Änderungen an deinem Marketingprogramm vornimmst (z. B. einen neuen Kanal hinzufügst), der Wert, der mit diesen inkrementellen Änderungen verknüpft ist.
- Wenn bestimmte Marketingaktivitäten tatsächlich schädlich sind, negative Ergebnisse liefern und angepasst werden müssen (z. B. zu viele Flows zu den falschen Zeiten für Kund*innen).
Zusätzliche Faktoren, die du bei Holdout-Gruppen berücksichtigen solltest
Es ist wichtig, das Timing und den Anwendungsfall zu berücksichtigen, wann du Holdout-Gruppen verwenden kannst.
Da diejenigen, die sich in einer Holdout-Gruppe befinden, keine E-Mail, SMS, Push-Benachrichtigung, Kampagne oder Flow erhalten können, solltest du die folgenden Faktoren berücksichtigen:
- Du kannst jeweils nur eine aktive Holdout-Gruppe gleichzeitig haben, um sie zum Vergleich mit deinen Marketingprogrammen zu verwenden.
- Eine Holdout-Gruppe gilt für alle Kanäle, die in einer Kampagne oder einem Flow verwendet werden; sie kann nicht für einen bestimmten Kanal und nicht für einen anderen aktiviert werden.
- Eine Holdout-Gruppe beeinträchtigt keine anderen wichtigen saisonalen E-Commerce-Events oder Zeiten im Jahr (z. B. Black Friday Cyber Monday).
- Welche Nachrichten diese Personen, auch in Holdout-Gruppen, immer erhalten sollten. Weitere Informationen zum Überschreiben von Nachrichten.
Holdout-Gruppen vs. A/B-Test
Holdout-Gruppen unterscheiden sich in ihrer Natur vom A/B-Test, und die beiden Funktionen sollten nicht verwechselt werden. Holdout-Gruppen helfen dir, die Auswirkungen deiner Marketingkommunikation zu verstehen, indem du einer Gruppe von Kund*innen nichts sendest. Im Gegensatz dazu kannst du mit dem A/B-Test 2 oder mehr Versionen deiner Marketingkommunikation vergleichen. Du kannst zum Beispiel 2 Versionen einer E-Mail-Kampagne vergleichen.
Eine Holdout-Gruppe erstellen
- Um eine Holdout-Gruppe zu erstellen, gehe zu Analytics > Experiments und klicke auf den Tab Global Experiments.
Hinweis: Wenn du nicht auf diese Seite zugreifen kannst, hast du nicht die erforderlichen 400.000+ Profile, die für die Qualifizierung benötigt werden. Außerdem können nur Kontoinhaber*innen, Administrator*innen und Manager*innen Holdout-Gruppen erstellen.
2. Klicke auf Test erstellen.
Anschließend wirst du durch eine Reihe von Schritten geführt, um deine Holdout-Gruppe einzurichten und anzupassen.
3. Verwende das Feld auf der linken Seite, um eine Zahl hinzuzufügen, die den Prozentsatz der marktfähigen Profile darstellt, die du in deine Holdout-Gruppe aufnehmen möchtest. Wenn du deinen Prozentsatz im Feld aktualisierst, aktualisiert der Zahlenwert die Gesamtanzahl rechts. Verwende in diesem Feld nur Zahlen (bis zu 2 Dezimalstellen).
Es wird empfohlen, etwa 5 % deiner insgesamt vermarktbaren Profile zu verwenden, um eine Holdout-Gruppe zu erstellen. Wenn du den Prozentsatz der Holdout-Gruppe ausgewählt hast, kannst du ihn nach dem Abschluss dieses Einrichtungsprozesses und der Aktivierung nicht mehr ändern. Beachte dabei: Deine Holdout-Gruppe wächst mit deinem Unternehmen und deiner Abonnentenliste. Der ursprünglich festgelegte Prozentsatz wird also immer beibehalten.
4. Wenn du mit deinem Prozentsatz zufrieden bist, klicke auf Weiter.
5. Standardmäßig beginnt deine Holdout-Gruppe am heutigen Datum, aber du kannst dein Enddatum auswählen. Klicke in das Feld Datum auswählen, um das Kalender-Widget zu öffnen. Klicke hier auf ein Datum aus dem Kalender, um dein Enddatum auszuwählen.
Es wird empfohlen, eine Holdout-Gruppe 3 Monate lang laufen zu lassen, um genügend Daten zu sammeln.
Du kannst auch sicherstellen, dass bestimmte Flows, die als notwendig eingestuft werden, weiterhin von Profilen in deiner Holdout-Gruppe empfangen werden. Dadurch setzt du die Regeln der Holdout-Gruppe für bestimmte Flow(s) außer Kraft. Zum Beispiel können viele Welcome-Flows so wichtig sein, dass sie weiterhin von deinen Holdout-Kund*innen empfangen werden sollten und daher überschrieben werden.
Dieser nächste Schritt ist optional und es ist nicht erforderlich, bestimmte Flows zu überschreiben. Es wird jedoch empfohlen, dass du überlegst, welche Nachrichten für die Erfahrung deiner Zielgruppen mit deiner Marke wichtig sind, und das Überschreiben gegebenenfalls verwendest. Beachte, dass Transaktionsnachrichten (z. B. Bestellbestätigungen) immer berücksichtigt und überschrieben werden, sodass deine Holdout-Gruppe sie erhält.
Du kannst auch bestimmte Kampagnen überspringen oder sogar Flows an einem späteren Tag über zusätzliche Schritte außerhalb dieses Einrichtungsassistenten überspringen. Führe die nächsten Schritte unten aus, um die Einrichtung abzuschließen, und lies dann die Abschnitte in diesem Leitfaden zu Kampagnen überschreiben oder Flows, um weitere Informationen zu erhalten.
Außerdem wirkt sich das Überschreiben bestimmter Nachrichten, sodass deine Holdout-Gruppen sie erhalten, auf die Analysen der Holdout-Gruppe aus. Möglicherweise siehst du eine Abnahme des gesamten Marketing-Uplifts, da die Holdout-Gruppe weiterhin einige Nachrichten erhält.
6. Um sicherzustellen, dass deine Profile weiterhin bestimmte Flow(s) erhalten, suche links im Feld Flows suchen nach dem Flow-Namen. Du kannst deine Suche nach einem bestimmten Flow auch eingrenzen, indem du das Dropdown Tags auswählen öffnest und bestimmte Tag(s) aus dem Dropdown auswählst.
Du kannst deine Suche nach einem bestimmten Flow zusätzlich eingrenzen, indem du das Dropdown Alle öffnest und entweder Welcome-Serie oder Browse Abandonment auswählst. Wenn du eine dieser Optionen auswählst, werden unten nur diese Arten von Flows aufgelistet.
Schließlich kannst du wählen, ob du nach Flows basierend auf dem Status suchen möchtest (Live, Manuell, Entwurf). Öffne das Menü Alle Status und wähle eine der Optionen aus; dadurch wird deine Liste unten eingegrenzt.
7. Sobald du den/die Flow(s) gefunden hast, die du überschreiben möchtest (d. h. deine Profile erhalten diese Flows), aktiviere das Kontrollkästchen neben jedem zutreffenden und klicke auf Überprüfen.
Wenn du keine zum Überschreiben auswählen möchtest, klicke auf Überspringen.
8. Überprüfe im Tab Details die Einstellungen einschließlich Start- und Enddatum sowie dem Prozentsatz der marktfähigen Profile in der Holdout-Gruppe.
9. Klicke auf den Tab Überschriebene Flows, um alle Flows zu überprüfen, die weiterhin an die Profile deiner Holdout-Gruppe senden, wie im Beispiel unten gezeigt.
10. Wenn du Änderungen vornehmen möchtest, klicke auf Zurück. Klicke andernfalls auf Test starten, wenn deine Holdout-Gruppe aktiv sein soll.
Bearbeiten oder Beenden deiner Holdout-Gruppen
Wenn du eine Holdout-Gruppe eingerichtet hast und bestimmte Einstellungen (d. h. Name oder Enddatum) bearbeiten oder den Gruppentest vorzeitig beenden möchtest, gehe zu Analytics > Experiments > Global Experiments.
Hier findest du die globale Holdout-Karte (das ist die Karte mit den Daten oberhalb der Verlaufskarte).
Eine aktive Holdout-Gruppe bearbeiten
- Wenn du den Namen deiner Holdout-Gruppe oder das Enddatum bearbeiten möchtest, klicke auf das 3-Punkte-Menü in der oberen rechten Ecke der Karte.
2. Wähle im Menü Details bearbeiten aus.
3. Von hier aus kannst du den Namen deiner Holdout-Gruppe im Feld Testname bearbeiten bearbeiten. Du kannst das Enddatum auch anpassen, indem du auf das Feld Testenddatum ändern klickst und im Kalender-Widget ein neues Datum auswählst.
4. Wenn du mit deinen Änderungen fertig bist, klicke auf Speichern.
Aktiven Test für Holdout-Gruppe beenden
Wenn du deinen Test frühzeitig beenden möchtest, kannst du das auch über diese Karte tun.
Beachte, dass das vorzeitige Beenden eines Tests zu unzureichenden oder verzerrten Daten führen kann.
- Klicke auf das 3-Punkte-Menü oben rechts auf der Karte.
2. Wähle Test beenden aus dem Menü aus.
3. Anschließend wird ein Modal angezeigt, in dem du bestätigen sollst, ob du den Test beenden und deine Holdout-Gruppe wieder alle Marketingnachrichten erhalten soll. Klicke zur Bestätigung auf Test beenden. Klicke andernfalls auf Abbrechen, um diese Aktion nicht abzuschließen.
Überschriebene Flows prüfen
- Wenn du prüfen möchtest, welche Flows du möglicherweise für deine Holdout-Gruppe überschrieben hast, klicke im oberen rechten Bereich dieser Karte auf das Drei-Punkte-Menü.
2. Wähle Aktive Überschreibungen im Menü aus.
3. Überprüfe ggf. die Flow-Überschreibung(en), die du für diese Holdout-Gruppe ausgewählt hast.
Wenn du zusätzliche überschreibende Flows hinzufügen möchtest, musst du diese manuell hinzufügen.
Zusätzliche Flows überschreiben
Nachdem du die anfängliche Einrichtung der Holdout-Gruppe durchlaufen hast, stellst du möglicherweise fest, dass du weitere überschriebene Flows hinzufügen möchtest. Das heißt, du hast möglicherweise andere Flows, die deine Holdout-Gruppe erhalten soll.
Das Überschreiben wird auf der Ebene des Haupt-Flows festgelegt und Profile erhalten weiterhin wie gewohnt alle Elemente dieses Flows. Wenn du einen Flow mit A/B-Tests ausführst, erreichen jetzt alle Varianten die entsprechenden Profile in deinen Holdout-Gruppen.
- Um weitere überschreibende Flows hinzuzufügen, zu Flows navigieren. Einen bestehenden Flow in der Liste suchen und anklicken oder auf Flow erstellen klicken, um Holdout-Gruppen zu überschreiben.
- Sobald du dich im Flow befindest, erstelle entweder den Trigger in deinem Flow oder klicke darauf.
Je nachdem, welchen Trigger du ausgewählt hast (z. B. Liste), siehst du hier links das Panel Trigger Setup mit der Option, eine bestehende globale Holdout-Gruppe zu überschreiben. Im folgenden Beispiel wird bei einem Listentrigger die Option angezeigt, eine globale Holdout-Gruppe zu überschreiben.
3. Klicke im Bereich Trigger-Setup auf den Gruppenlink Globale Holdout-Gruppe überschreiben.
4. Wenn du Nachrichten aus diesem bestimmten Flow an Personen in deiner globalen Holdout-Gruppe senden möchtest, wähle Ja aus. Wähle andernfalls Nein und beende den Überschreibungsprozess.
5.Klicke unten im Bereich Trigger-Einrichtung auf Speichern, um deine Änderungen zu speichern. Klicke auf Abbrechen, wenn du deine Aktualisierungen nicht speichern möchtest.
Überschreiben einzelner Kampagnen (E-Mail, SMS oder Push)
Es kann notwendig sein, bestimmten Kampagnen zu erlauben, eure Holdout-Gruppen zu erreichen. Zum Beispiel möchtest du vielleicht, dass deine globalen Holdout-Gruppen eine individuelle Willkommens-E-Mail von deiner Marke erhalten. In diesem Fall musst du die spezifische Kampagne überschreiben, um sicherzustellen, dass deine globalen Holdout-Gruppen diese spezielle Nachricht oder Kampagne erhalten.
- Navigiere zu Kampagnen.
- Suche im Feld oder finde die passende Kampagne im Entwurfsstatus in der Liste unten. Wenn du eine neue Kampagne erstellst, kannst du die Überschreibung auch direkt während der Einrichtung gleichzeitig hinzufügen.
Du kannst gesendete Kampagnen nicht bearbeiten.
3. Klicke im ersten Schritt der Kampagneneinrichtung im Abschnitt Empfänger*innen auf die Option Konfigurieren.
4. Wenn du diese bestimmte Kampagne an die Personen in deiner globalen Holdout-Gruppe senden möchtest, wähle Ja aus. Wähle andernfalls Nein und beende den Überschreibungsprozess.
5. Klicke auf Speichern, um deine Änderungen zu bestätigen. Klicke auf Abbrechen, wenn du deine Aktualisierungen nicht speichern möchtest.
6. Fahre mit der Einrichtung des Rests deiner Kampagne fort. Wenn du fertig bist, klicke auf Speichern und weiter zu Inhalt.
Der Bildschirm Bereit zum Senden? bestätigt dann und zeigt, dass deine aktive globale Kontogruppierung diese Kampagne nicht erhält.
Später neue Marketing-Kanäle hinzufügen
Wenn du einem vorhandenen Campaign einen neuen Kanal hinzufügst (z. B. SMS), werden deine Einstellungen aus der ursprünglichen Campaign-Einrichtung berücksichtigt – auch dann, wenn du dich dafür entschieden hast, globale Holdout-Gruppen zu überschreiben.
Wenn du das anpassen möchtest, folge den Einrichtungsanweisungen oben und deaktiviere stattdessen die Überschreibungsoption.
Überprüfen, ob ein Profil Teil einer Holdout-Gruppe ist oder war
Es kann geprüft werden, ob ein bestimmtes Profil bzw. bestimmte Profile derzeit Teil einer globalen Holdout-Gruppe sind oder zu einem Zeitpunkt Teil davon waren.
Innerhalb eines einzelnen Profils
- Navigiere zu Zielgruppen > Profile.
- Suche im Feld oben oder wähle ein Profil aus der Liste unten aus. Ein Banner, wie im Beispiel unten gezeigt, informiert dich darüber, ob ein Profil Teil einer globalen Holdout-Gruppe ist.
Du kannst außerdem sehen, ob ein Profil zuvor Teil einer Holdout-Gruppe war und wann das passiert ist. Das Entfernen aus einer Holdout-Gruppe bedeutet, dass der Test beendet wurde und das Profil daraus entfernt wurde.
Wenn ein Profil zusammengeführt wurde, berücksichtigen zukünftige Sendungen den Holdgroup-Status des zusammengeführten Profils.
Innerhalb von Flows
- Navigiere zu Flow.
- Verwende das Suchfeld oben oder suche den Flow in der Liste unten.
- Klicke im Flow auf eine Nachricht, die übersprungen wurde.
- Sieh dir das linke Panel für eine bestimmte Flow-Nachricht an, um den Abschnitt Analytics (Letzte 30 Tage) zu sehen. Hier siehst du eine Zeile für übersprungene Aktivität.
5. Klicke auf Übersprungen, um automatisch zur Registerkarte Empfänger*innenaktivität der E-Mail und zum Abschnitt Übersprungen weitergeleitet zu werden. Dieser Abschnitt zeigt, warum einzelne Empfänger*innen beim Versandzeitpunkt für eine bestimmte Flow-Nachricht übersprungen wurden, einschließlich, wenn sie in einer globalen Holdout-Gruppe waren.
Innerhalb von Kampagnen
- Navigiere zu Kampagnen.
- Im Feld suchen oder die passende gesendete Kampagne aus der Liste unten auswählen.
- Klicke auf den Tab Übersprungene Aktivität. In diesem Abschnitt wird angezeigt, warum einzelne Personen zum Versandzeitpunkt für diese Flow-Nachricht übersprungen wurden, einschließlich der Fälle, in denen sie sich in einer globalen Holdout-Gruppe befanden.
Analytics zu Holdout-Gruppen überprüfen
Karte für aktive globale Holdout-Gruppe
Die globale Holdout-Karte oben im Analytics-Abschnitt enthält alle Informationen und Daten zu jeder derzeit aktiven Holdout-Gruppe. Diese Karte ist besonders hilfreich, da sie eine klare Möglichkeit bietet, den Erfolg deiner Marketingstrategien sowie den damit verbundenen Umsatz, Conversion und Uplift zu überprüfen.
Oben auf deiner Karte wird der gesamte Marketing-Lift-Prozentsatz angegeben, wie unten gezeigt. Das stellt den Lift deines Marketingprogramms im Vergleich zu denen in der Holdout-Gruppe dar, die keine Nachrichten erhalten haben. Diese Metrik ist entscheidend, um die Gesamtauswirkung deines Marketingprogramms zu verstehen.
Unterhalb des Marketing Lift werden Daten zu Folgendem enthalten sein:
- Holdout-Prozentsatz
Der Prozentsatz der gesamten vermarktbaren Profile, die keine Marketingnachrichten erhalten haben. Dies wird aus deiner ursprünglichen Einrichtung der Holdout-Gruppe abgeleitet. - Gewinnwahrscheinlichkeit
Wahrscheinlichkeit, dass dein Marketingprogramm eine bedeutende Verbesserung gegenüber der Holdout-Gruppe bewirkt.
Beachte, dass du, wenn du insgesamt 10 oder weniger Stichproben aus deiner Treatment- und Holdout-Gruppe zusammen hast, noch keine Gewinnwahrscheinlichkeit angezeigt bekommst.
- Behandlungsgruppe
Die Hauptgruppe, die dein gesamtes Marketing erhält. - Holdout-Gruppe
Die Gruppe, die für den Empfang von E-Mails, SMS und Push-Benachrichtigungen, die über Kampagne und Flow gesendet werden, zuständig ist. - Vermarktbare Profile
Jedes Profil, an das über Klaviyo E-Mails gesendet werden können, gilt als vermarktbares E-Mail-Profil. Es gibt zwei Hauptkategorien von aktiven Profilen:- Abonnent*innen
Abonnent*innen haben ein Anmeldeformular ausgefüllt oder anderweitig ausdrücklich zugestimmt, E-Mail-Marketing zu erhalten. - Profil hinzugefügt durch allgemeines Kundenengagement
Es ist möglich, dass jemand seine E-Mail-Adresse mit dir teilt, ohne ausdrücklich in ein laufendes E-Mail-Marketing einzuwilligen. Zum Beispiel kann jemand, der eine Bestellung aufgegeben oder einen Bezahlvorgang auf deiner Website abgebrochen hat, seine E-Mail-Adresse während des Bezahlvorgangs hinzugefügt haben, sich aber nie explizit angemeldet haben.
- Abonnent*innen
Die letzten beiden Spalten stellen die Conversion-Metrik dar, die dein Konto verwendet, angezeigt als gesamte Rohzahl und anschließend als Prozentsatz, den diese von der Gesamtzahl ausmacht. Beachte, dass es sich um die gesamten Conversions handelt, die von deinen Profilen durchgeführt wurden, und nicht um zuordenbare Conversions.
Verlaufskarte
Die Verlauf-Zusammenfassungskarte stellt die Daten für alle deine Holdout-Gruppen bereit. Diese Karte ist besonders hilfreich, um inkrementelle Änderungen zu sehen, die du möglicherweise an deinen Marketingprogrammen vorgenommen hast, und wie sich diese auf die Conversions und den Uplift ausgewirkt haben. Hier kannst du diese Änderungen oder Zeitpunkte zurückverfolgen und nachverfolgen, was in deinen Programmen erfolgreich war.
Spalten stellen Folgendes dar:
- Name
Name der globalen Holdout-Gruppe, die du eingerichtet hast. - Startdatum
Wann die globale Holdout-Gruppe eingerichtet wurde und erstmals aktiv war. - Enddatum
Wann die globale Holdout-Gruppe endete und Profile daraus entfernt wurden. - Holdout-Größe
Der Prozentsatz der Profile aus deinen gesamten vermarktbaren Profilen, die in der Holdout-Gruppe vertreten sind. Dies wird aus deiner ursprünglichen Einrichtung der Holdout-Gruppe abgeleitet. - Marketing-Uplift
Der prozentuale Uplift deines Marketingprogramms im Vergleich zu denjenigen in der Holdout-Gruppe, basierend auf der in deinem Konto ausgewählten Conversion-Metrik. Das zeigt den Gesamterfolg deiner Marketingstrategien im Vergleich zu denjenigen, die nicht alle oder die meisten deiner Marketingmaßnahmen erhalten. - Gewinnwahrscheinlichkeit
Wahrscheinlichkeit, dass dein Marketingprogramm eine bedeutende Verbesserung gegenüber der Holdout-Gruppe bewirkt.
Du kannst auch auf die Pfeile neben einer dieser Spalten klicken, um nach Namen, Daten, Holdout-Größen, Marketing-Lift und Gewinnwahrscheinlichkeit in aufsteigender oder absteigender Reihenfolge zu sortieren.
Wenn du auf einen der Namen der globalen Holdouts klickst, gelangst du zu einer individuellen Analysekarte mit Daten zu dieser bestimmten Gruppe im Vergleich zu deinen Marketingprogrammen.