Statistische significantie in Klaviyo-campagnes begrijpen

Wat je leert

Ontdek hoe je kunt bepalen of een A/B-test statistisch significant is of niet. Als bijvoorbeeld campagnevariatie A een openingspercentage van 15% heeft en variatie B een openingspercentage van 14%, hoe weet je dan zeker of variatie A of B beter presteerde?

Opmerking over Apple Mail Privacy Protection

Met de release van iOS15, macOS Monterey, iPadOS 15 en WatchOS 8 heeft Apple Mail Privacy Protection (MPP) de manier veranderd waarop we gegevens over de openingspercentages van je e-mails ontvangen door onze trackingpixel vooraf in te lezen. Het is belangrijk om te begrijpen dat door deze verandering de openingspercentages buiten proportie zullen zijn.

Wat betreft A/B-testen verwachten we dat onze tools rekening moeten houden met deze opgeblazen openingspercentage; het kan echter zijn dat je een hogere drempel nodig hebt om statistische significantie te bereiken. Als je regelmatig A/B-testen uitvoert EN meer dan ~45% van de opens via Apple Mail hebt, raden we aan om een aangepast rapport te maken dat een MPP-eigenschap bevat. Je kunt deze opens ook identificeren in je afzonderlijke abonnee-segmenten.

Ga voor de volledige informatie over MPP-openingen naar onze gids iOS 15: Bereid je voor op de wijzigingen van Apple.

Categorieën van statistische significantie

Statistische significantie is wanneer Klaviyo wiskundig kan bepalen of een variatie betere prestaties zal opleveren. Voor campagnes houdt Klaviyo zowel het aantal mensen dat een bericht heeft ontvangen als de winkans in de gaten. De winkans geeft aan hoe waarschijnlijk het is dat een variatie betere resultaten oplevert, op basis van hoe sterk die de andere variatie(s) overtreft.

Bij A/B-testen moet je elke factor vermijden die je doelgroep aanzienlijk kan beïnvloeden; test bijvoorbeeld niet opnieuw vlak voor een feestdagweekend, wanneer je doelgroep veel waarschijnlijker naar je e-mails kijkt.

Als het gaat om A/B-testen van campagnes, zijn er vier categorieën voor statistische significantie:

• Statistisch significant
• Veelbelovend
• Niet statistisch significant
• Onduidelijk

In de volgende paar secties bespreken we wanneer een test in elk van deze categorieën valt.

Statistisch significant

De statistisch significante tag op je A/B-test betekent dat een bepaalde variatie van je test zeer waarschijnlijk wint van de andere optie(s). Dit geeft ook aan dat je de resultaten zou kunnen reproduceren en dat je wat je hebt geleerd kunt toepassen op je toekomstige verzendingen.

Voor Klaviyo-campagnes wordt een A/B-testresultaat als statistisch significant beschouwd wanneer:

• 50 mensen hebben elke variatie ontvangen.
• De winkans is minimaal 90%.

Dit zorgt ervoor dat een voldoende grote steekproef van ontvangers de A/B-test heeft gezien en dat de winnende variatie de andere variant(en) grotendeels heeft overtroffen voor de gekozen winnende meetwaarde (die voor campagnes ofwel het openingspercentage, het klikpercentage (CR) of het aankooppercentage is).

Stel bijvoorbeeld dat je test of een emoji in de onderwerpregel invloed heeft op het openingspercentage. De testresultaten laten zien dat de winnende variatie die met de emoji is en dat er een groene tag voor statistische significantie is. In dit geval kun je erop vertrouwen dat een onderwerpregel met een emoji consistent beter presteert dan een zonder. Opnieuw testen is niet nodig.

Je moet echter altijd je eigen oordeel gebruiken wanneer je op de resultaten van de test reageert. Als je bijvoorbeeld een serieuzer of somberder bericht verstuurt, is een emoji misschien niet geschikt om te gebruiken.

Veelbelovend

Wanneer de resultaten veelbelovend zijn, lijkt het erop dat één variatie beter presteert dan de andere, maar het bewijs uit de test alleen is niet sterk genoeg. Als een test als veelbelovend wordt beschouwd, verschijnt er geen tag die dit aangeeft; je ziet echter wel een melding dat je de test opnieuw moet uitvoeren.

Als een testresultaat veelbelovend is, moet je nog een A/B-test uitvoeren zodat je meer zekerheid hebt. Als je bijvoorbeeld teruggaat naar het emoji-voorbeeld hierboven en de resultaten veelbelovend zijn, voer je deze test opnieuw uit. Als je na meerdere A/B-tests veelbelovende resultaten blijft zien in het voordeel van de emoji, kun je erop vertrouwen dat emoji's een kleine maar positieve impact hebben op je doelgroep, en moet je ze blijven gebruiken in campagnes.

Voor campagnes wordt een A/B-testresultaat als veelbelovend beschouwd wanneer:

• 50 mensen hebben elke variatie ontvangen.
• De winkans ligt tussen 75% en 89%.

Niet statistisch significant

Als iets niet statistisch significant is, verslaat één variatie de andere variatie(s) in de test maar met een klein verschil, en kun je het resultaat mogelijk niet reproduceren in een vervolgtest.

Voor ons voorbeeld kan dit betekenen dat de variatie met de emoji de variatie(s) zonder emoji versloeg, maar slechts met een heel klein verschil; niet genoeg om het testresultaat betekenisvol te maken.

In dit geval raden we aan om deze factor nog 2 of 3 keer te hertesten en de resultaten goed in de gaten te houden.

Als je blijft zien dat het testresultaat als niet statistisch significant wordt beschouwd, ga dan niet door met testen; ga in plaats daarvan verder met A/B-testen van een ander onderwerp. Als een test in deze categorie valt, verschijnt er een grijze tag met Niet statistisch significant op de pagina met A/B-testresultaten.

Voor campagnes wordt een A/B-testresultaat als niet statistisch significant beschouwd wanneer een van de volgende situaties van toepassing is:

• De waarschijnlijkheid is minder dan 75% en minstens 1.800 mensen hebben elke variatie ontvangen.
  Of
• Minder dan 1.800 hebben elke variatie ontvangen, het procentuele verschil tussen de leidende variatie en de variatie op de tweede plaats is 4% of minder, en de winkans is minder dan 60%.

Onduidelijk

Als een test niet doorslaggevend is, betekent dit dat er niet genoeg informatie is om te bepalen of iets statistisch significant is. Als de testresultaten niet voldoen aan een van de criteria voor de bovenstaande opties, valt deze in de niet-d doorslaggevend-categorie. Je kunt dit visualiseren met de beslisboom die in het volgende gedeelte wordt weergegeven. Let op: bij niet-d doorslaggevende tests wordt op de resultatenpagina geen tag weergegeven die aangeeft of de test statistisch significant was.

In dit geval wil je je doelgroep misschien uitbreiden voor eventuele follow-uptests. Als je test met een kleine groep, interpreteer de resultaten dan zoals jij dat wilt en test opnieuw om te controleren of wat je hebt gevonden klopt. Richt je bovendien op het op andere manieren leren kennen van je abonnee; bijv. via enquêtes, polls, enz.

Beslisboom voor statistische significantie

De volgende beslisboom laat zien wanneer een A/B-test in elke categorie valt. De groene lijnen geven aan dat het antwoord "ja" is, terwijl rood "nee" betekent.