Erste Schritte mit der Vollumfänglichen Holdout-Gruppe

Du wirst lernen

Lerne, wie du die Vollumfängliche Holdout-Gruppe nutzen kannst, um die Wirkung und Effektivität deines Marketings zu verstehen. Die vollumfängliche Holdout-Gruppe bietet dir die Möglichkeit, eine bestimmte Anzahl von Profilen von deinen Werbebotschaften auszuschließen, um den zusätzlichen Erfolg deines Marketingprogramms zu ermitteln. Diese Holdout-Gruppe ermöglicht es dir, den Basiswert deiner Marketingprogramme zu vergleichen und zu analysieren und Wege zu finden, diese Strategien kontinuierlich zu optimieren.

Bevor du beginnst

Um dich für die Holdout-Gruppe zu qualifizieren, musst du mindestens 400.000 Profile haben (beachte, dass dies die Gesamtanzahl der Profile ist). So wird sichergestellt, dass Klaviyo genügend Profildaten hat, um die Holdout-Gruppe mit deinem anderen Profilmarketing zu vergleichen. Wir empfehlen dir außerdem, die Holdout-Gruppe 3 Monate lang laufen zu lassen, um genügend Daten zu sammeln.

Erfahre mehr darüber, wann du die Holdout-Gruppe nutzen solltest und wann nicht.

Holdout-Gruppe richtig einsetzen

Wie man die Holdout-Gruppe benutzt

Holdout-Gruppe solltest du nutzen, wenn du die Wirksamkeit deiner Marketingprogramme und eventuelle Änderungen an diesen Strategien testen willst. Holdout-Gruppe sind insofern hilfreich, als sie einen klaren Vergleich liefern, um zu zeigen, welche Wirkung deine Marketing-Strategie hat, da sie keine Kommunikation von dir erhalten.

Du solltest zum Beispiel eine Holdout-Gruppe in Betracht ziehen, wenn du eine Gruppe gründen willst:

• Der klare Wert und die Wirkung deines gesamten Marketingprogramms im Vergleich zu den Kosten.
• Wenn du dein Marketingprogramm änderst (z.B. einen neuen Kanal hinzufügst), solltest du den Wert, der mit diesen schrittweisen Änderungen verbunden ist, kennen.
• Wenn bestimmte Marketingaktivitäten tatsächlich schädlich sind und zu negativen Ergebnissen führen und angepasst werden müssen (z.B. zu viel Flow zur falschen Zeit an den Kunden).

Zusätzliche Faktoren, die bei der Holdout-Gruppe zu beachten sind

Es ist wichtig, den Zeitpunkt und die Anwendung zu bedenken, wann du die Holdout-Gruppe einsetzen kannst.

Da diejenigen, die sich in einer Holdout-Gruppe befinden, keine E-Mail, SMS, Push-Benachrichtigung, Kampagne oder Flow erhalten können, solltest du die folgenden Faktoren berücksichtigen:

• Du kannst jeweils nur eine aktive Holdout-Gruppe haben, die du zum Vergleich mit deinen Marketingprogrammen verwenden kannst.
• Eine Holdout-Gruppe gilt für alle Kanäle, die in einer Kampagne oder einem Flow verwendet werden; sie kann nicht für einen bestimmten Kanal gegenüber einem anderen aktiviert werden.
• Eine Holdout-Gruppe stört nicht andere wichtige saisonale E-Commerce-Ereignisse oder Jahreszeiten (z. B. Black Friday Cyber Monday).
• Was für Nachrichten, die auch in der Holdout-Gruppe immer empfangen werden sollten. Erfahre mehr über das Überschreiben von Nachrichten.

Holdout-Gruppe vs. A/B-Tests

Holdout-Gruppe unterscheiden sich in ihrer Art von A/B-Tests und die beiden Funktionen sollten nicht verwechselt werden. Holdout-Gruppe ermöglicht es dir, die Wirkung deiner Marketingkommunikation zu verstehen, indem du nichts an eine Gruppe von Personen schickst. Im Gegensatz dazu kannst du mit A/B-Tests 2 oder mehr Versionen deiner Marketingkommunikation vergleichen. Du kannst zum Beispiel 2 Versionen einer E-Mail-Kampagne vergleichen.

Erstellen einer Holdout-Gruppe

1. Um eine Holdout-Gruppe zu erstellen, gehe zu Analytics > Experimente und klicke auf den Reiter Globale Experimente.

2. Klicke auf Test erstellen.

Du wirst dann durch eine Reihe von Schritten geführt, um deine Holdout-Gruppe einzurichten und anzupassen.

3. Füge in das linke Feld eine Zahl ein, die den Prozentsatz des vermarktbaren Profils angibt, den du in deine Holdout-Gruppe geben willst. Wenn du deinen Prozentsatz in dem Feld aktualisierst, wird der numerische Wert die Gesamtzahl auf der rechten Seite aktualisieren. Verwende in diesem Feld nur Zahlen (mit bis zu 2 Dezimalstellen).

4. Wenn du mit deinem Prozentsatz zufrieden bist, klicke auf Weiter.

5. Standardmäßig beginnt deine Holdout-Gruppe mit dem heutigen Datum, aber du kannst das Enddatum selbst bestimmen. Klicke in das Feld Datum auswählen, um das Kalender-Widget aufzurufen. Klicke hier auf ein Datum im Kalender, um dein Enddatum auszuwählen.

Du kannst auch dafür sorgen, dass bestimmte als notwendig erachtete Flows weiterhin von Profil in deiner Holdout-Gruppe empfangen werden. Dazu setzt du die Regeln der Holdout-Gruppe für bestimmte Warenströme außer Kraft. Zum Beispiel können viele Willkommensflüsse so wichtig sein, dass sie noch von deinem Holdout-Kunden empfangen werden sollten und deshalb außer Kraft gesetzt werden.

6. Um sicherzustellen, dass dein Profil noch bestimmte Flows erhält, suche nach dem Namen des Flows im Feld Flow suchen auf der linken Seite. Du kannst deine Suche nach einem bestimmten Fluss auch eingrenzen, indem du das Dropdown-Menü Tag auswählen öffnest und bestimmte Tags aus dem Dropdown-Menü auswählst.

Du kannst deine Suche nach einem bestimmten Flow zusätzlich eingrenzen, indem du das Dropdown-Menü Alle öffnest und entweder Welcome Flow oder Browse Abandonment. Wenn du eine dieser Optionen wählst, siehst du nur die unten aufgeführten Arten von Bewegungen.

Schließlich kannst du auch nach dem Status des Flusses suchen(Live, Manuell, Entwurf). Öffne das Menü " Alle Status" und wähle eine der Optionen aus; dadurch wird deine Liste unten eingeschränkt.

7. Wenn du die Flows gefunden hast, die du außer Kraft setzen willst (d.h. dein Profil erhält diese Flows), aktiviere das Kontrollkästchen neben jedem einzelnen Flow und klicke auf Überprüfen.

Wenn du keine Auswahl treffen möchtest, um sie zu überschreiben, klicke auf Überspringen.

8. Überprüfe auf der Registerkarte Details die Einstellungen, einschließlich des Start- und Enddatums und des Prozentsatzes des marktfähigen Profils in der Holdout-Gruppe.

9. Klicke auf die Registerkarte Aufgehobener Fluss, um alle Flüsse zu überprüfen, die noch an dein Holdout-Gruppenprofil gesendet werden, wie im folgenden Beispiel gezeigt.

10. Wenn du Änderungen vornehmen möchtest, klicke auf Zurück. Andernfalls klicke auf Test starten, wenn du bereit bist, dass deine Holdout-Gruppe aktiv wird.

Bearbeite oder beende deine Holdout-Gruppe

Wenn du eine Holdout-Gruppe eingerichtet hast und bestimmte Einstellungen (z. B. Name oder Enddatum) bearbeiten oder den Gruppentest vorzeitig beenden möchtest, gehe zu Analytics > Experimente > Globale Experimente.

Hier findest du die globale Holdout-Karte (es ist die Karte mit den Daten über der History-Karte).

Bearbeiten einer aktiven Holdout-Gruppe

1. Wenn du den Namen deiner Holdout-Gruppe oder das Enddatum bearbeiten möchtest, klicke auf das 3-Punkte-Menü in der oberen rechten Ecke der Karte.

2. Wähle im Menü Details bearbeiten.

3. Von hier aus kannst du den Namen deiner Holdout-Gruppe im Feld Testname bearbeiten bearbeiten. Du kannst das Enddatum auch anpassen, indem du auf das Feld Test-Enddatum ändern klickst und ein neues Datum aus dem Kalender-Widget auswählst.

4. Wenn du mit deinen Änderungen fertig bist, klicke auf Speichern.

Beenden eines aktiven Tests einer Holdout-Gruppe

Wenn du deinen Test vorzeitig beenden möchtest, kannst du dies ebenfalls über diese Karte tun.

1. Klicke auf das 3-Punkte-Menü in der oberen rechten Ecke der Karte.

2. Wähle im Menü " Test beenden".

3. Es erscheint ein Dialogfenster, in dem du bestätigen musst, ob du den Test beenden möchtest und deine Holdout-Gruppe wieder alle Marketingnachrichten erhalten soll. Zum Bestätigen klickst du auf Test beenden. Andernfalls klickst du auf Abbrechen, um diese Aktion nicht abzuschließen.

Überprüfung des übersteuerten Flusses

1. Wenn du überprüfen willst, welche Strömung(en) du für deine Holdout-Gruppe außer Kraft gesetzt hast, klicke auf das 3-Punkte-Menü in der oberen rechten Ecke der Karte.

2. Wähle Aktive Überschreibungen aus dem Menü.

3. Überprüfe die Flussübersteuerung(en), die du für diese bestimmte Holdout-Gruppe ausgewählt hast, falls zutreffend.

Übergeordneter zusätzlicher Fluss

Nachdem du die anfängliche Holdout-Gruppe eingerichtet hast, wirst du vielleicht feststellen, dass du weitere außer Kraft gesetzte Bewegungen hinzufügen möchtest. Mit anderen Worten: Du hast vielleicht einen anderen Flow, den du deiner Holdout-Gruppe zukommen lassen willst.

1. Um weitere außer Kraft gesetzte Flows hinzuzufügen, navigiere zu Flow. Suche und klicke auf einen bestehenden Flow in der Liste oder klicke auf Flow, um die Holdout-Gruppe zu überschreiben.
2. Sobald du dich im Flow befindest, erstellst du entweder den Auslöser oder klickst auf ihn in deinem Flow.

Je nachdem, welchen Auslöser du gewählt hast (z.B. Liste), siehst du hier links das Feld für die Auslösereinstellung mit der Option, eine bestehende Vollumfängliche Holdout-Gruppe zu überschreiben. Im folgenden Beispiel wird die Option, eine vollumfängliche Holdout-Gruppe außer Kraft zu setzen, auf einem Listenauslöser angezeigt.

3. Klicke im Fenster " Trigger Setup" auf den Link " Override global Holdout group".

4. Wenn du Nachrichten aus diesem Fluss an die Mitglieder deiner Vollumfänglichen Holdout-Gruppe senden möchtest, wähle Ja. Andernfalls wählst du Nein und beendest den Überschreibungsprozess.

5.Klicke unten im Fenster " Triggereinstellungen" auf " Speichern" , um deine Änderungen zu speichern. Klicke auf Abbrechen, wenn du deine Aktualisierung nicht speichern möchtest.

Einzelne Kampagnen außer Kraft setzen (E-Mail, SMS, oder Push)

Es kann notwendig sein, dass bestimmte Kampagnen deine Holdout-Gruppe erreichen können. Du möchtest zum Beispiel, dass deine Vollumfängliche Holdout-Gruppe eine individuelle Willkommens-E-Mail von deiner Marke erhält. In diesem Fall musst du die spezifische Kampagne außer Kraft setzen, um sicherzustellen, dass deine Vollumfängliche Holdout-Gruppe diese spezielle Nachricht oder Kampagne erhält.

1. Navigiere zu Kampagne.
2. Suche im Feld oder finde den passenden Kampagnenentwurf in der Liste unten. Wenn du eine neue Kampagne erstellst, kannst du den Override auch direkt bei der Einrichtung hinzufügen.

3. Klicke im ersten Schritt der Kampagneneinrichtung auf die Option Konfigurieren im Abschnitt Empfänger.

4. Wenn du diese Kampagne an die Mitglieder deiner Vollumfänglichen Holdout-Gruppe senden möchtest, wähle Ja. Andernfalls wählst du Nein und beendest den Überschreibungsprozess.

5. Klicke auf Speichern, um deine Änderungen zu bestätigen. Klicke auf Abbrechen, wenn du deine Aktualisierung nicht speichern möchtest.

6. Fahre damit fort, den Rest deiner Kampagne einzurichten. Wenn du fertig bist, klicke auf Speichern & Weiter zum Inhalt.

Der Bildschirm " Bereit zum Senden?" bestätigt dann und zeigt an, dass deine aktive globale Kontogruppe diese Kampagne nicht erhalten wird.

Hinzufügen eines neuen Marketingkanals zu einem späteren Zeitpunkt

Wenn du einen neuen Kanal zu einer bestehenden Kampagne hinzufügst (z.B. SMS), werden deine Einstellungen aus der ursprünglichen Kampagneneinrichtung beibehalten, auch wenn du die Vollumfängliche Holdout-Gruppe außer Kraft gesetzt hast.

Wenn du dies anpassen möchtest, befolge die oben genannten Einrichtungshinweise und schalte stattdessen die Übersteuerungsoption aus.

Überprüfen, ob ein Profil Teil einer Holdout-Gruppe ist oder war

Du kannst überprüfen, ob ein bestimmtes Profil(s) derzeit Teil einer vollumfänglichen Holdout-Gruppe ist oder irgendwann einmal war.

Innerhalb eines einzelnen Profils

1. Navigiere zu Zielgruppen > Profil.
2. Suche in dem Feld oben oder wähle ein Profil aus der Liste unten. Ein Banner, wie im Beispiel unten gezeigt, zeigt dir an, ob ein Profil Teil der Vollumfänglichen Holdout-Gruppe ist.

Du kannst auch sehen, ob ein Profil zuvor Teil einer Holdout-Gruppe war und wann dies geschah. Das Entfernen aus einer Holdout-Gruppe bedeutet, dass der Test beendet und das Profil aus der Gruppe entfernt wurde.

Innerhalb des Flusses

1. Navigiere zu Flow.
2. Benutze das Suchfeld oben oder finde den Flow in der Liste unten.
3. Klicke auf eine Nachricht im Flow, die übersprungen wurde.
4. Sieh dir das linke Panel für eine bestimmte Flow-Meldung an, um den Bereich Analytics (letzte 30 Tage) zu sehen. Hier siehst du eine Zeile für übersprungene Aktivitäten.

5. Klicke auf Übersprungen, um automatisch zur Registerkarte Empfängeraktivität der E-Mail und zum Abschnitt Übersprungen zu gelangen. Dieser Abschnitt zeigt, warum Personen am Versandzeitpunkt für eine bestimmte Flow-Meldung übersprungen wurden, auch wenn sie in einer vollumfänglichen Holdout-Gruppe waren.

Innerhalb der Kampagne

1. Navigiere zu Kampagne.
2. Suche in dem Feld oder finde die passende gesendete Kampagne in der Liste unten.
3. Klicke auf die Registerkarte " Übersprungene Aktivität ". Dieser Abschnitt zeigt, warum Personen am Versandzeitpunkt für diese bestimmte Flow-Nachricht übersprungen wurden, auch wenn sie in einer vollumfänglichen Holdout-Gruppe waren.

Überprüfung der Analysen der Holdout-Gruppe

Global aktive Holdout-Gruppe Karte

Auf der globalen Holdout-Karte oben im Analysebereich findest du alle Informationen und Daten zu jeder aktiven Holdout-Gruppe. Diese Karte ist besonders hilfreich, da sie eine klare Möglichkeit bietet, den Erfolg deiner Marketing-Strategie und den damit verbundenen Umsatz, die Conversion und den Uplift zu überprüfen.

Oben auf deiner Karte steht der Gesamtprozentsatz des Marketing-Lifts, wie unten abgebildet. Das ist die Steigerung deines Marketingprogramms im Vergleich zu denjenigen in der Holdout-Gruppe, die keine Nachrichten erhalten haben. Diese Metrik ist entscheidend für das Verständnis der Gesamtwirkung deines Marketingprogramms.

Unterhalb des Marketing-Lifts werden Daten über:

• Holdout Prozentsatz
  Der prozentuale Anteil des gesamten vermarktbaren Profils, der keine Marketingbotschaften erhalten hat. Dies ergibt sich aus der anfänglichen Einrichtung deiner Holdout-Gruppe.
• Gewinnwahrscheinlichkeit
  Wahrscheinlichkeit, dass dein Marketingprogramm eine deutliche Verbesserung gegenüber der Holdout-Gruppe bringt.

• Behandlungsgruppe
  Die Hauptgruppe, die dein gesamtes Marketing erhält.
• Holdout-Gruppe
  Die Gruppe, die für den Empfang von E-Mails, SMS und Push-Benachrichtigungen, die über Kampagne und Flow gesendet werden, zuständig ist.
• Marktfähiges Profil
  Jedes Profil, das über Klaviyo per E-Mail verschickt werden kann, wird als marktfähiges E-Mail-Profil betrachtet. Es gibt 2 Hauptkategorien von aktivem Profil:
  • Abo
    Abonnent ein Anmeldeformular ausgefüllt oder anderweitig ausdrücklich in den Erhalt von E-Mail-Marketing eingewilligt haben.
  • Profil hinzugefügt durch allgemeine Kundenengagement
    Es ist möglich, dass jemand seine E-Mail an dich weitergibt, ohne dass er ausdrücklich in ein laufendes E-Mail-Marketing einwilligt. Zum Beispiel kann jemand, der eine Bestellung aufgegeben oder einen Bezahlvorgang auf deiner Website abgebrochen hat, seine E-Mail-Adresse während des Bezahlvorgangs hinzugefügt haben, sich aber nie explizit angemeldet haben.

Die letzten beiden Spalten zeigen die Conversion Metrik, die dein Konto verwendet, als Gesamtzahl und dann als Prozentsatz der Gesamtzahl. Beachte, dass es sich dabei um die gesamte Umwandlung deines Profils handelt und nicht um die zurechenbare Umwandlung.

Geschichte Karte

Die Übersichtskarte enthält die Daten für alle deine Holdout-Gruppen. Diese Karte ist besonders hilfreich, um zu sehen, welche schrittweisen Änderungen du an deinen Marketingprogrammen vorgenommen hast und wie sich diese auf die Conversion und den Uplift ausgewirkt haben. Hier kannst du diese Veränderungen oder Zeitpunkte zurückverfolgen und nachvollziehen, was in deinen Programmen erfolgreich war.

Die Spalten stehen für die folgenden Punkte:

• Name
  Name der vollumfänglichen Holdout-Gruppe, die du eingerichtet hast.
• Startdatum
  Wann die Vollumfängliche Holdout-Gruppe gegründet wurde und erstmals aktiv war.
• Enddatum
  Als die Vollumfängliche Holdout-Gruppe endete und das Profil aus ihr entfernt wurde.
• Holdout Größe
  Der prozentuale Anteil des Profils an deinem gesamten marktfähigen Profil, der in der Holdout-Gruppe vertreten ist. Dies ergibt sich aus der anfänglichen Einrichtung deiner Holdout-Gruppe.
• Marketing-Lift
  Der prozentuale Lift deines Marketingprogramms im Vergleich zu denjenigen in der Holdout-Gruppe, die die von dir gewählte Conversion-Metrik verwenden. Dies zeigt den Gesamterfolg deiner Marketing-Strategie im Vergleich zu denjenigen, die nicht oder nur wenig von deinem Marketing profitieren.
• Gewinnwahrscheinlichkeit
  Wahrscheinlichkeit, dass dein Marketingprogramm eine deutliche Verbesserung gegenüber der Holdout-Gruppe bringt.

Du kannst auch auf die Pfeile neben jeder dieser Spalten klicken, um nach Namen, Datum, Holdout-Größen, Marketing-Lift und Gewinnwahrscheinlichkeit in auf- oder absteigender Reihenfolge zu sortieren.

Wenn du auf einen der globalen Holdout-Namen klickst, gelangst du zu einer individuellen Analysekarte mit Daten zu dieser speziellen Gruppe im Vergleich zu deinen Marketingprogrammen.

Zusätzliche Ressourcen

Wie man eine E-Mail-Kampagne bearbeitet

Wie man einen Flow bearbeitet

Den Informationsteil eines Profils verstehen