Aan de slakken met algemene hold-out-groep

Wat je leert

Leer hoe je een algemene hold-out-groep kunt gebruiken om inzicht te krijgen in de impact en effectiviteit van je marketing. algemene hold-out-groep bieden een manier om een aantal profielen uit te sluiten van je berichtgeving om het incrementele succes van je marketingprogramma te bepalen. Met deze hold-out-groepen kun je de basiswaarde van je marketingprogramma's vergelijken en vervolgens analyseren, evenals manieren om deze strategieën voortdurend te optimaliseren.

Voordat je van start gaat

Je moet minstens 400.000 profiel hebben (let op: dit is de totale profielwaarde) om in aanmerking te komen voor de hold-out-groep. Dit zorgt ervoor dat Klaviyo voldoende profielgegevens heeft om de hold-out-groep te vergelijken met je andere profiel dat marketing ontvangt. Daarnaast raden we je aan om 3 maanden lang een hold-out-groep te draaien om genoeg gegevens te verzamelen.

Leer meer over wanneer je wel of niet gebruik moet maken van hold-out-groep.

De hold-out-groep op de juiste manier gebruiken

Hoe gebruik je hold-out-groep

hold-out-groep moet worden gebruikt als je de effectiviteit van je marketingprogramma's wilt testen, en eventueel wijzigingen die je in deze strategieën aanbrengt. hold-out-groepen zijn nuttig omdat ze een duidelijke vergelijking geven van de impact die je marketingstrategie heeft, omdat ze geen communicatie van je ontvangen.

Je kunt bijvoorbeeld overwegen om een hold-out-groep te gebruiken als je wilt vestigen:

• De duidelijke waarde en impact van je totale marketingprogramma afgezet tegen de kosten.
• Wanneer je veranderingen aanbrengt in je marketingprogramma (bijvoorbeeld het toevoegen van een nieuw kanaal), wat is dan de waarde van deze incrementele veranderingen?
• Als bepaalde marketingactiviteiten daadwerkelijk schadelijk zijn en negatieve resultaten opleveren en moeten worden aangepast (bijv. te veel stromen op de verkeerde momenten naar klant).

Extra factoren waar je rekening mee moet houden bij hold-out-groepen

Het is belangrijk om na te denken over de timing en toepassing van wanneer je hold-out-groep mag gebruiken.

Omdat degenen in een hold-out-groep geen e-mail, sms, pushmelding, verzonden via campagnes of flow kunnen ontvangen, moet je de volgende factoren in overweging nemen:

• Je kunt maar één actieve hold-out-groep tegelijk gebruiken om te vergelijken met je marketingprogramma's.
• Een hold-out-groep geldt voor alle kanalen die in een campagne of flow worden gebruikt; het kan niet worden ingeschakeld voor een specifiek kanaal versus een ander.
• Een hold-out-groep interfereert niet met andere belangrijke seizoensgebonden e-commerce evenementen of tijden van het jaar (bijv. Black Friday Cyber Monday).
• Wat een berichten die degenen, zelfs in hold-out-groepen, altijd zouden moeten ontvangen. Meer informatie over het overschrijven van berichten.

hold-out-groep vs. A/B-test

hold-out-groep zijn anders van aard dan A/B-tests en de twee functies moeten niet met elkaar worden verward. hold-out-groepen geven je inzicht in de impact van je marketingcommunicatie door niets naar een groep mensen te sturen. Met een A/B-test kun je daarentegen 2 of meer versies van je marketingcommunicatie vergelijken. Je kunt bijvoorbeeld 2 versies van een e-mailcampagne vergelijken.

Een hold-out-groep creëren

1. Om een hold-out-groep te maken, ga je naar analyses > Experimenten en klik je op de tab Wereldwijde experimenten.

2. Klik op Test maken.

Je wordt dan door een aantal stappen geleid om je hold-out-groep in te stellen en aan te passen.

3. Gebruik het veld links om een getal toe te voegen dat staat voor het percentage verhandelbaar profiel dat je in je hold-out-groep wilt stoppen. Terwijl je update je percentage in het veld zet, zal de numerieke waarde update de totale telling rechts weergeven. Gebruik in dit veld alleen getallen (tot 2 cijfers achter de komma).

4. Klik op Doorgaan als je tevreden bent met je percentage.

5. Standaard zal je hold-out-groep beginnen op de datum van vandaag, maar je kunt zelf een einddatum kiezen. Klik in het veld Selecteer datum om de kalender widget weer te geven. Klik vanaf hier op een datum in de kalender om je einddatum te selecteren.

Je kunt er ook voor zorgen dat bepaalde noodzakelijk geachte stromen nog steeds worden ontvangen door profiel in je hold-out-groep. Om dit te doen, overschrijf je de hold-out-groep regels voor bepaalde flow(s). Veel welkomststromen kunnen bijvoorbeeld belangrijk genoeg zijn om nog steeds te worden ontvangen door je hold-out klant en daarom worden overruled.

6. Om er zeker van te zijn dat je profiel nog steeds bepaalde flow(s) ontvangt, zoek je op de naam flow in het veld Zoekstroom links. Je kunt je zoekopdracht ook verfijnen voor een bepaalde flow door de Select tag dropdown te openen en bepaalde tag(s) uit de dropdown te selecteren.

Je kunt je zoekopdracht naar een bepaalde flow nog verder verfijnen door de Alle dropdown te openen en te kiezen voor welkomstserie of website verlaten. Als je een van deze opties kiest, zie je alleen de onderstaande typen stromen.

Tot slot kun je ervoor kiezen om stromen te zoeken op basis van status(Live, Handmatig, Concept). Open het menu Alle statussen en kies een van de opties; dit verkleint je lijst hieronder.

7. Zodra je de flow(s) hebt gevonden die je wilt overschrijven (d.w.z. je profiel ontvangt deze stroom), schakel je het selectievakje in naast elke stroom en klik je op Controleren.

Als je niets wilt selecteren om te overschrijven, klik je op Overslaan.

8. Bekijk op het tabblad Details de instellingen, waaronder de begin- en einddatum en het percentage verhandelbaar profiel in de hold-out-groep.

9. Klik op het tabblad Overridden flow om alle flows te bekijken die nog steeds naar je hold-out-groep profiel sturen, zoals in het voorbeeld hieronder.

10. Als je nog wijzigingen wilt aanbrengen, klik je op terug. Klik anders op Start test als je klaar bent om je hold-out-groep actief te maken.

Je hold-out-groep bewerken of beëindigen

Als je een hold-out-groep hebt ingesteld en bepaalde instellingen wilt wijzigen (zoals de naam of einddatum) of de groepstest voortijdig wilt beëindigen, ga dan naar analyses > Experimenten > Globale experimenten.

Hier vind je de global hold-out kaart (dit is de kaart met gegevens boven de geschiedeniskaart).

Een actieve hold-out-groep bewerken

1. Als je de naam van je hold-out-groep of de einddatum wilt bewerken, klik je op het 3 puntjes-menu in de rechterbovenhoek van de kaart.

2. Kies Details bewerken in het menu.

3. Vanaf hier kun je de naam van je hold-out-groep bewerken in het veld Testnaam bewerken. Je kunt de einddatum ook aanpassen door op het veld Einddatum test wijzigen te klikken en een nieuwe datum te kiezen in de kalender widget.

4. Als je klaar bent met je bewerkingen, klik je op Opslaan.

Een actieve hold-out-groep test beëindigen

Als je merkt dat je de test eerder wilt beëindigen, kun je dat ook via deze kaart doen.

1. Klik op het menu met 3 puntjes in de rechterbovenhoek van de kaart.

2. Kies Einde test in het menu.

3. Er verschijnt dan een modal waarin je wordt gevraagd om te bevestigen of je de test wilt beëindigen en je hold-out-groep weer alle marketingberichten wilt laten ontvangen. Klik op Test beëindigen om te bevestigen. Klik anders op Annuleren om deze actie niet te voltooien.

Overschreven stroom bekijken

1. Als je wilt bekijken welke flow(s) je hebt overruled voor je hold-out-groep, klik dan op het 3-puntenmenu in de rechterbovenhoek van deze kaart.

2. Kies actief opheffen uit het menu.

3. Bekijk de flow override(s) die je hebt gekozen voor deze specifieke hold-out-groep, indien van toepassing.

Extra stroom opheffen

Nadat je de eerste hold-out-groep hebt ingesteld, kun je ontdekken dat je meer override flow wilt toevoegen. Met andere woorden, je hebt misschien andere stromen die je je hold-out-groep wilt laten ontvangen.

1. Om meer override flow toe te voegen, navigeer je naar flow. Zoek en klik op een bestaande flow in de lijst of klik op Maak stroom om de hold-out-groep te overschrijven.
2. Als je eenmaal in de flow bent, kun je de trigger in je flow maken of erop klikken.

Afhankelijk van de trigger die je hebt gekozen (bijvoorbeeld lijst), zie je hier links het Trigger Setup-paneel met de optie om een bestaande algemene hold-out-groep op te heffen. In het onderstaande voorbeeld wordt de optie om een algemene hold-out-groep op te heffen weergegeven op een lijsttrekker.

3. Klik in het paneel Trigger Setup op de link Globale hold-outgroep overschrijven.

4. Als je berichten van deze specifieke flow wilt sturen naar degenen in je algemene hold-out-groep, kies dan Ja. Kies anders Nee en verlaat het overschrijfproces.

5. Klik op Opslaan onderaan het Trigger Setup-paneel om je wijzigingen op te slaan. Klik op Annuleren als je de update niet wilt opslaan.

Individuele campagnes overschrijven (e-mail, sms of push)

Het kan nodig zijn om bepaalde campagnes toe te staan om je hold-out-groep te bereiken. Je wilt bijvoorbeeld dat je algemene hold-out-groep een individuele welkomstmail van je merk ontvangt. In dit geval moet je de specifieke campagne overschrijven om ervoor te zorgen dat je algemene hold-out-groep dit specifieke bericht of deze specifieke campagne ontvangt.

1. Navigeer naar campagnes.
2. Zoek in het veld of zoek de juiste ontwerpcampagne uit de lijst hieronder. Als je een nieuwe campagne maakt, kun je de override ook direct tijdens het instellen toevoegen.

3. Klik in de eerste stap van de campagne-instelling op de optie Configureren in het gedeelte Ontvangers.

4. Als je deze specifieke campagne naar de mensen in je algemene hold-out-groep wilt sturen, kies dan Ja. Kies anders Nee en verlaat het overschrijfproces.

5. Klik op Opslaan om je wijzigingen te bevestigen. Klik op Annuleren als je de update niet wilt opslaan.

6. Ga verder met het opzetten van de rest van je campagne. Als je klaar bent, klik je op Opslaan & Doorgaan naar inhoud.

Het scherm Klaar om te verzenden zal dan bevestigen en laten zien dat je actieve globale account groep deze campagne niet zal ontvangen.

Op een later tijdstip een nieuw marketingkanaal toevoegen

Als je een nieuw kanaal toevoegt aan een bestaande campagne (bijv. sms), worden je instellingen van je oorspronkelijke campagne-instellingen gerespecteerd, ook als je ervoor hebt gekozen om de algemene hold-out-groep te overschrijven.

Als je dit wilt aanpassen, volg dan de bovenstaande instellingsaanwijzingen en schakel in plaats daarvan de override optie uit.

Controleren of een profiel deel uitmaakt of heeft uitgemaakt van een hold-out-groep

Je kunt bekijken of een bepaald profiel op dit moment deel uitmaakt of ooit deel heeft uitgemaakt van een algemene hold-out-groep.

Binnen een enkel profiel

1. Navigeer naar Audiences > profiel.
2. Zoek in het veld hierboven of kies een profiel uit de lijst hieronder. Een banner, zoals in het voorbeeld hieronder, laat je weten of een profiel deel uitmaakt van een algemene hold-out-groep.

Je kunt ook zien of een profiel eerder deel uitmaakte van een hold-out-groep en wanneer dit gebeurde. Verwijdering uit een hold-out-groep betekent dat de test is beëindigd en het profiel eruit is verwijderd.

Binnen stroom

1. Navigeer naar stroom.
2. Gebruik het zoekveld hierboven of vind de flow in de lijst hieronder.
3. Klik op een bericht in de flow dat is overgeslagen.
4. Bekijk het linkerpaneel voor een bepaald flow bericht om het gedeelte analyses (laatste 30 dagen) te zien. Hier zie je een regel voor overgeslagen activiteiten.

5. Klik op Overgeslagen om automatisch naar het tabblad Ontvangersactiviteit van de e-mail en het gedeelte Overgeslagen te worden geleid. Dit gedeelte laat zien waarom individuen op verzendmoment zijn overgeslagen voor een bepaald flow bericht, inclusief als ze in een algemene hold-out-groep zaten.

Binnen campagnes

1. Navigeer naar campagnes.
2. Zoek in het veld of zoek de juiste verzonden campagne in de lijst hieronder.
3. Klik op het tabblad Overgeslagen activiteit. Dit gedeelte laat zien waarom individuen op verzendmoment zijn overgeslagen voor dit specifieke flow bericht, inclusief of ze in een algemene hold-out-groep zaten.

Herziening van analyses over hold-out-groepen

Wereldwijde actieve hold-out-groep kaart

De globale hold-out kaart bovenaan het analyse gedeelte bevat alle informatie en gegevens over de hold-out-groep die op dat moment actief is. Deze kaart is vooral nuttig omdat het een duidelijke manier is om het succes van je marketingstrategie en de inkomsten, conversie en opleving die ermee gepaard gaan te evalueren.

Bovenaan je kaart staat het totale marketingliftpercentage, zoals hieronder weergegeven. Dit vertegenwoordigt de lift van je marketingprogramma in vergelijking met degenen in de "hold-out-groep" die geen berichten hebben ontvangen. Deze meetwaarde is cruciaal om inzicht te krijgen in de totale impact van je marketingprogramma.

Onder de marketinglift staan gegevens over:

• hold-out percentage
  Het percentage van het totale verkoopbare profiel dat geen marketingberichten heeft ontvangen. Dit is afgeleid van je oorspronkelijke hold-out-groep opstelling.
• Winstkans
  Waarschijnlijkheid dat je marketingprogramma een betekenisvolle verbetering oplevert ten opzichte van de hold-out-groep.

• Behandelgroep
  De hoofdgroep die al je marketing ontvangt.
• hold-out-groep
  De groep die wordt weerhouden van het ontvangen van e-mail, sms en pushmeldingen via campagnes en flow.
• Verkoopbaar profiel
  Elk profiel dat kan worden gemaild via Klaviyo wordt beschouwd als een verhandelbaar e-mailprofiel. Er zijn 2 hoofdcategorieën actief profiel:
  • abonnee
    abonnee een aanmeldingsformulier heeft ingevuld of op een andere manier expliciet toestemming heeft gegeven voor het ontvangen van e-mailmarketing.
  • profiel toegevoegd door algemene betrokkenheid
    Het is mogelijk dat iemand zijn e-mail met je deelt zonder expliciet toestemming te geven voor doorlopende e-mailmarketing. Iemand die bijvoorbeeld een bestelling heeft geplaatst of een afrekenen op je site heeft afgebroken, kan zijn e-mailadres hebben toegevoegd tijdens het afrekenen, maar zich nooit expliciet hebben aangemeld.

De laatste twee kolommen geven de conversie meetwaarde weer die je account gebruikt, weergegeven door het totale ruwe aantal en het percentage dat dit vertegenwoordigt op het totaal. Let op dat is totale conversie gemaakt door je profiel en geen toerekenbare conversie.

Geschiedenis

De overzichtskaart met de geschiedenis bevat de gegevens van al je hold-out-groepen. Deze kaart is vooral handig om te zien of er stapsgewijze veranderingen zijn aangebracht in je marketingprogramma's en hoe deze de conversie en uplift hebben beïnvloed. Hier kun je deze veranderingen of punten in de tijd terugvinden en nagaan wat succesvol was in je programma's.

Kolommen geven het volgende weer:

• Naam
  Naam van de algemene hold-out-groep die je hebt ingesteld.
• Begindatum
  Wanneer de algemene hold-out-groep werd opgericht en voor het eerst actief werd.
• Einddatum
  Wanneer de algemene hold-out-groep eindigde en het profiel werd verwijderd.
• hold-out-grootte
  Het percentage profiel van je totale verkoopbare profiel dat vertegenwoordigd is in de hold-out-groep. Dit is afgeleid van je oorspronkelijke hold-out-groep opstelling.
• Marketing lift
  De procentuele lift van je marketingprogramma vergeleken met die in de hold-out-groep door gebruik te maken van je account's geselecteerde conversie meetwaarde. Dit laat het algehele succes van je marketingstrategieën zien in vergelijking met degenen die niet alle of de meeste van je marketing ontvangen.
• Winstkans
  Waarschijnlijkheid dat je marketingprogramma een betekenisvolle verbetering oplevert ten opzichte van de hold-out-groep.

Je kunt ook op de pijltjes naast elk van deze kolommen klikken om oplopend of aflopend te sorteren op namen, datums, houdbaarheidsgraden, marketingtoename en winkans.

Door op een van de wereldwijde hold-out namen te klikken, kom je op een individuele analysekaart met gegevens over deze specifieke groep in vergelijking met jouw marketingprogramma's.

Extra hulpbronnen

Een e-mailcampagne bewerken

Hoe bewerk je een flow

De informatiesectie van een profiel begrijpen