Comprendere la significatività statistica nelle campagne Klaviyo

Cosa imparerai

Scopri come capire se un test A/B è considerato statisticamente significativo oppure no. Ad esempio, se la variante A di una campagna ha un tasso di apertura del 15% e la variante B ha un tasso di apertura del 14%, come fai a sapere con certezza se la variante A o B ha ottenuto risultati migliori?

Nota sulla funzionalità Mail Privacy Protection di Apple

Con il rilascio di iOS15, macOS Monterey, iPadOS 15 e WatchOS 8, Apple Mail Privacy Protection (MPP) ha cambiato il modo in cui riceviamo i dati sul tasso di apertura delle tue e-mail mediante il recupero preliminare del nostro pixel di tracciamento. Con questo cambiamento, è importante capire che i tassi di apertura saranno gonfiati.

Per quanto riguarda il test A/B, prevediamo che i nostri strumenti debbano tenere conto di questi tassi di apertura gonfiati; tuttavia, potresti aver bisogno di una soglia più alta per raggiungere la significatività statistica. Se esegui regolarmente test A/B E hai una percentuale di aperture superiore a ~45% su Apple Mail, ti suggeriamo di creare un report personalizzato che includa una proprietà MPP. Puoi anche identificare queste aperture nei singoli segmenti di iscritti.

Per informazioni complete sulle aperture MPP, visita la nostra guida iOS 15: come prepararsi ai cambiamenti di Apple.

Categorie di significatività statistica

La significatività statistica è il momento in cui Klaviyo è in grado, da un punto di vista matematico, di determinare se una variante produrrà prestazioni migliori. Per le campagne, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio sia la probabilità di vittoria, ovvero quanto è probabile che una variante generi risultati migliori in base a quanto supera le altre varianti.

Quando esegui un test A/B, dovresti evitare qualsiasi fattore che possa influenzare in modo significativo il tuo pubblico; ad esempio, non ripetere il test vicino a un weekend festivo, quando il pubblico è molto più propenso a cercare le tue e-mail.

Quando si tratta di campagne di test A/B, ci sono quattro categorie di significatività statistica:

• Statisticamente significativo
• Promettente
• Non statisticamente significativo
• Inconcludente

Nelle prossime sezioni, vedremo quando un test rientra in ciascuna di queste categorie.

Statisticamente significativo

Il tag statisticamente significativo sul tuo test A/B significa che una determinata variante del test ha un’alta probabilità di vincere rispetto alle altre opzioni. Indica anche che saresti in grado di riprodurre i risultati e potresti applicare ciò che hai imparato ai tuoi invii futuri.

Per le campagne Klaviyo, il risultato di un test A/B è considerato statisticamente significativo quando:

• 50 persone hanno ricevuto ogni variante.
• La probabilità di vincita è almeno del 90%.

Questo garantisce che un campione sufficientemente ampio di destinatari abbia visto il test A/B e che la variante vincente abbia ampiamente superato le altre in base alla metrica di vittoria selezionata (che, per le campagne, è il tasso di apertura, la percentuale di clic (CR) o il tasso di ordine effettuato).

Ad esempio, supponiamo che tu stia testando se un'emoji nell'oggetto influisce sul tasso di apertura. I risultati del test mostrano che la variante vincente è quella con l'emoji e che è presente un tag verde di significatività statistica. In questo caso, puoi essere sicuro che un oggetto con un'emoji avrà prestazioni costantemente migliori rispetto a uno senza: e non è necessario ripetere il test.

Tuttavia, quando agisci sui risultati del test, dovresti sempre usare il tuo miglior giudizio. Se stai inviando un messaggio più serio o solenne, ad esempio, potrebbe non essere opportuno usare un'emoji.

Promettente

Quando i risultati sono promettenti, una variante sembra ottenere prestazioni migliori rispetto all’altra o alle altre, ma le prove non sono sufficientemente solide basandosi solo sul test. Se un test viene considerato promettente, non verrà visualizzato alcun tag che lo indichi; tuttavia, vedrai un avviso che indica che dovresti ripetere il test.

Per un risultato del test promettente, dovresti eseguire un altro test A/B così avrai maggiore certezza. Ad esempio, tornando all'esempio delle emoji sopra, se i risultati sono promettenti, esegui di nuovo questo test. Se dopo diversi test A/B continui a vedere risultati promettenti a favore dell'emoji, puoi fidarti del fatto che le emoji hanno un impatto lieve ma positivo sul tuo pubblico e dovresti continuare a usarle nelle campagne.

Per le campagne, un risultato del test A/B è considerato promettente quando:

• 50 persone hanno ricevuto ogni variante.
• La probabilità di vittoria è compresa tra 75% e 89%.

Non statisticamente significativo

Se qualcosa non è statisticamente significativo, una variante supera l’altra (o le altre) nel test solo di poco e potresti non essere in grado di replicare il risultato in un test successivo.

Nel nostro esempio, questo potrebbe significare che la variante con l'emoji ha superato la/le variante/i senza emoji, ma solo di pochissimo; non abbastanza perché il risultato del test sia significativo.

In questo caso, ti consigliamo di ripetere il test di questo fattore altre 2 o 3 volte e di monitorare attentamente i risultati.

Se continui a vedere che il risultato del test è considerato non statisticamente significativo, non continuare a eseguire test; invece, passa al test A/B su un argomento diverso. Se un test rientra in questa categoria, nella pagina dei risultati del test A/B verrà visualizzato un tag grigio con la dicitura Non statisticamente significativo.

Per le campagne, un risultato di test A/B è considerato non statisticamente significativo quando si verifica una delle seguenti condizioni:

• La probabilità è inferiore al 75% e almeno 1.800 persone hanno ricevuto ciascuna variante.
  Oppure
• Meno di 1.800 persone hanno ricevuto ciascuna variante, la differenza percentuale tra la variante in testa e la variante al secondo posto è pari o inferiore al 4% e la probabilità di vincita è inferiore al 60%.

Inconcludente

Se un test non è conclusivo, significa che non ci sono informazioni sufficienti per determinare se qualcosa è statisticamente significativo oppure no. Se i risultati del test non corrispondono a nessuno dei criteri delle opzioni sopra, rientreranno nella categoria non conclusivo. Puoi visualizzarlo usando l’albero decisionale mostrato nella sezione successiva. Tieni presente che i test non conclusivi non mostreranno un tag che indichi se il test è statisticamente significativo oppure no nella pagina dei risultati.

In questo caso, potresti voler ampliare il tuo pubblico per eventuali test di follow-up. Se stai eseguendo il test su un gruppo piccolo, interpreta i risultati come ritieni opportuno e ripeti il test per verificare che ciò che hai trovato sia accurato. Inoltre, concentrati sull’apprendere di più sui tuoi iscritti anche in altri modi; ad esempio, con sondaggi, questionari, ecc.

Albero decisionale della significatività statistica

Il seguente albero decisionale mostra quando un test A/B rientra in ciascuna categoria. Le linee verdi indicano che la risposta è “sì”, mentre quelle rosse indicano “no”.

Risorse aggiuntive