Statistische significantie in Klaviyo-campagnes begrijpen

Wat je leert

Leer hoe je kunt bepalen of een A/B-test statistisch significant is. Als variatie A van een campagne bijvoorbeeld een openingspercentage van 15% heeft en variatie B een openingspercentage van 14%, hoe weet je dan welke variatie beter presteerde?

Opmerking over Apple Mail Privacy Protection

Met de release van iOS 15, macOS Monterey, iPadOS 15 en WatchOS 8 heeft Apple Mail Privacy Protection (MPP) de manier veranderd waarop we gegevens over de openingspercentages van je e-mails ontvangen door onze trackingpixel vooraf in te lezen. Het is belangrijk om te begrijpen dat door deze verandering de openingspercentages buiten proportie zullen zijn.

MPP-openingen worden meegerekend wanneer een A/B-test openingspercentage als winnende meetwaarde gebruikt. Statistische significantie toont niet aan dat ontvangers de e-mail bewust hebben geopend. Overweeg klikpercentage (CR) als MPP het lastig maakt om resultaten voor openingspercentage te interpreteren. Maak een aangepast rapport dat een MPP-eigenschap bevat om te begrijpen hoe MPP je doelgroep beïnvloedt. Je kunt deze openingen ook identificeren in je individuele abonneesegmenten.

Ga voor de volledige informatie over MPP-openingen naar onze gids iOS 15: Bereid je voor op de wijzigingen van Apple.

Categorieën van statistische significantie

Statistische significantie geeft sterk bewijs dat één variatie beter presteert dan de andere voor je gekozen winnende meetwaarde. Voor campagnes evalueert Klaviyo zowel de doelgroepgrootte als de winkans: de geschatte waarschijnlijkheid dat een variatie het hoogste percentage heeft voor die meetwaarde, op basis van de testgegevens.

Bij A/B-testen moet je elke factor vermijden die je doelgroep aanzienlijk kan beïnvloeden; test bijvoorbeeld niet opnieuw vlak voor een feestdagweekend, wanneer je doelgroep veel waarschijnlijker naar je e-mails kijkt.

Als het gaat om A/B-testcampagnes, zijn er 4 categorieën voor statistische significantie:

• Statistisch significant
• Veelbelovend
• Niet statistisch significant
• Onduidelijk

Open het campagnerapport en selecteer Resultaten van A/B-test om je resultaten te bekijken. Nadat de test is voltooid, kijk je onder Kans op winst. Als zowel Test period results als Continuous results beschikbaar zijn, selecteer je Test period results om de gegevens te beoordelen die zijn verzameld voordat de winnaar is geselecteerd. Doorlopende resultaten omvatten latere activiteit van de testontvangers.

Statistisch significant

Het label Statistisch significant bij je A/B-test betekent dat één variatie zeer waarschijnlijk beter presteert dan de andere optie(s) voor de gekozen meetwaarde, op basis van de testgegevens. Je kunt gebruiken wat je hebt geleerd om toekomstige verzendingen te sturen, maar het resultaat garandeert niet dezelfde uitkomst bij een andere doelgroep, boodschap of verzendmoment.

Voor Klaviyo-campagnes wordt een A/B-testresultaat als statistisch significant beschouwd wanneer:

• Elke variatie heeft meer dan 50 succesvolle afleveringen voor e-mail, of meer dan 50 ontvangers voor sms.
• De winkans is groter dan 90%.

Deze criteria combineren de doelgroepgrootte met het vertrouwen in het resultaat voor de door jou gekozen winnende meetwaarde: openingspercentage, klikpercentage (CR) of aankooppercentage. De weergegeven winkans is afgerond, dus gebruik het resultaatlabel of de melding wanneer je een waarde dicht bij een drempel interpreteert.

Stel bijvoorbeeld dat je test of een emoji in de onderwerpregel invloed heeft op het openingspercentage. De resultaten laten zien dat de variatie met de emoji heeft gewonnen en het label Statistisch significant heeft. Dit ondersteunt het gebruik van de emoji in vergelijkbare verzendingen naar die doelgroep, maar het toont niet aan dat emoji’s het openingspercentage in elke campagne consequent zullen verbeteren.

Je moet echter altijd je eigen oordeel gebruiken wanneer je op de resultaten van de test reageert. Als je bijvoorbeeld een serieuzer of somberder bericht verstuurt, is een emoji misschien niet geschikt om te gebruiken.

Veelbelovend

Wanneer de resultaten veelbelovend zijn, lijkt één variatie beter te presteren dan de andere, maar het bewijs uit alleen de test is niet sterk genoeg. Veelbelovende resultaten hebben geen significantielabel. Voor een voltooide test raadt een melding aan om de test te herhalen. Als Resultaten voor testperiode beschikbaar is, kijk dan daar voor deze melding. Als een andere variatie voorloopt in Doorlopende resultaten, verschijnt er in plaats daarvan een melding over de verandering van winnaar.

Voor een veelbelovend resultaat voer je nog een vergelijkbare A/B-test uit om te controleren of het resultaat standhoudt. Om terug te komen op het emoji-voorbeeld: herhaaldelijke veelbelovende resultaten kunnen wijzen op een patroon, maar op zichzelf bevestigen ze geen statistische significantie. Gebruik ze om verdere tests te sturen, in plaats van ervan uit te gaan dat emoji's elke campagne verbeteren.

Voor campagnes wordt een A/B-testresultaat als veelbelovend beschouwd wanneer:

• Elke variatie heeft meer dan 50 succesvolle afleveringen voor e-mail, of meer dan 50 ontvangers voor sms.
• De winstkans moet groter dan 75% en niet groter dan 90% zijn.

Niet statistisch significant

Een niet-statistisch significant resultaat betekent dat de test niet sterk genoeg bewijs levert dat de leidende variatie beter presteert. Een variatie kan nog steeds als winnaar worden geselecteerd, zelfs als het resultaat niet statistisch significant is.

Voor ons voorbeeld kan dit betekenen dat de variatie met de emoji de variatie(s) zonder emoji versloeg, maar slechts met een heel klein verschil; niet genoeg om het testresultaat betekenisvol te maken.

In dit geval raden we aan om deze factor nog 2 of 3 keer te hertesten en de resultaten goed in de gaten te houden.

Als je blijft zien dat het testresultaat als niet statistisch significant wordt beschouwd, ga dan niet door met testen; ga in plaats daarvan verder met het A/B-testen van een ander onderwerp. Als een test in deze categorie valt, verschijnt er een label Niet statistisch significant op de A/B-testresultatenpagina.

Voor campagnes moet elke variatie meer dan 50 succesvolle leveringen hebben voor e-mail, of meer dan 50 ontvangers voor sms, voordat een resultaat kan worden geclassificeerd als niet statistisch significant. Zodra aan dat minimum is voldaan, voldoet een van deze voorwaarden:

• De winstkans is 75% of lager en elke variatie heeft meer dan 1.800 succesvolle leveringen voor e-mail of meer dan 1.800 ontvangers voor sms.
• De winstkans is lager dan 60% en het verschil in de winnende meetwaarde tussen de variaties op de 1e en 2e plek is minder dan 4 procentpunt.

Onduidelijk

Als een test niet doorslaggevend is, is er niet genoeg informatie om te bepalen of een variatie beter presteert. Als een variatie voor e-mail 50 of minder succesvolle afleveringen heeft, of voor sms 50 of minder ontvangers, is het resultaat niet doorslaggevend, ongeacht de winkans. Resultaten die niet voldoen aan de criteria van een van de andere categorieën, zijn ook niet doorslaggevend. Je kunt de categorieën visualiseren met behulp van de beslisboom in de volgende sectie. Niet doorslaggevende tests tonen geen label voor statistische significantie op de resultatenpagina.

In dit geval wil je misschien je doelgroep uitbreiden voor eventuele vervolgtests. Als je met een kleine groep test, interpreteer de resultaten zoals jij dat wilt en test opnieuw om te controleren of wat je hebt gevonden klopt. Richt je daarnaast op het leren kennen van je abonnees via andere middelen; bijvoorbeeld enquêtes, polls, enz.

Beslisboom voor statistische significantie

De volgende beslisboom laat zien wanneer een A/B-test in elke categorie valt. De groene lijnen geven aan dat het antwoord "ja" is, terwijl rood "nee" betekent.

Extra hulpbronnen