Capire la significatività statistica nelle campagne di Klaviyo

Imparerai

Scopra come capire se un test A/B è considerato staticamente significativo o meno. Per esempio, se la variante A di una campagna ha un tasso di apertura del 15% e la variante B ha un tasso di apertura del 14%, come si fa a sapere con certezza se la variante A o B ha ottenuto risultati migliori?

Categorie di significatività statistica

La significatività statistica è quando Klaviyo è matematicamente in grado di determinare se una variazione produrrà un miglioramento delle prestazioni. Per le campagne, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio che la probabilità di vittoria, ossia la probabilità che una variante produca risultati migliori in base a quanto supera le altre varianti.

Durante i test A/B, dovrebbe evitare qualsiasi fattore che possa influenzare in modo significativo il suo pubblico; ad esempio, non rifaccia il test in prossimità di un fine settimana festivo, quando è molto più probabile che il suo pubblico cerchi le sue e-mail. 

Quando si tratta di campagne di test A/B, ci sono quattro categorie per la significatività statistica:

• Statisticamente significativo
• Promettente
• Non statisticamente significativo
• Inconcludente

Nelle prossime sezioni, esamineremo quando un test rientra in ciascuna di queste categorie.

Statisticamente significativo

Il tag statisticamente significativo del suo test A/B significa che una determinata variante del test ha un'alta probabilità di vincere rispetto alle altre opzioni. Indica anche che sarebbe in grado di riprodurre i risultati e di applicare ciò che ha imparato ai suoi invii futuri.

Per le campagne Klaviyo, un risultato del test A/B è considerato statisticamente significativo quando:

• 50 persone hanno ricevuto ogni variante
• La probabilità di vincita è almeno del 90%.

Questo assicura che un campione sufficientemente ampio di destinatari abbia visto il test A/B e che la variante vincente abbia ampiamente superato le altre per la metrica vincente scelta (che, per le campagne, è il tasso di apertura, il tasso di clic o il tasso di ordini effettuati).

Per esempio, supponiamo che lei stia testando se un emoji nella riga dell'oggetto influisce sul tasso di apertura. I risultati del test mostrano che la variante vincente è quella con l'emoji e c'è un'etichetta verde di significatività statistica. In questo caso, può essere certo che una riga di oggetto con un'emoji avrà costantemente una performance migliore di una senza - e non c'è bisogno di ripetere il test.

Tuttavia, deve sempre usare il suo miglior giudizio quando agisce in base ai risultati del test. Se sta inviando un messaggio più serio o cupo, ad esempio, un'emoji potrebbe non essere appropriata.

Promettente

Quando i risultati sono promettenti, sembra che una variante abbia prestazioni migliori rispetto alle altre, ma la prova non è abbastanza forte dal test in sé. Se un test è considerato promettente, non apparirà alcuna etichetta che lo indichi; tuttavia, vedrà un avviso che le indicherà di rieseguire il test.

Per un risultato promettente, dovrebbe eseguire un altro test A/B, in modo da avere maggiori certezze. Per esempio, tornando all'esempio di emoji di cui sopra, se i risultati sono promettenti, esegua nuovamente questo test. Se continua a vedere risultati promettenti a favore delle emoji dopo diversi test A/B, può fidarsi del fatto che le emoji hanno un impatto leggero ma positivo sul suo pubblico, e dovrebbe continuare a usarle nelle campagne.

Per le campagne, il risultato di un test A/B è considerato promettente quando:

• 50 persone hanno ricevuto ogni variante
• La probabilità di vincita è compresa tra il 75% e l'89%.

Non statisticamente significativo

Se qualcosa non è statisticamente significativo, una variazione batte l'altra (o le altre) nel test solo di poco, quindi potrebbe non essere in grado di replicare il risultato in un ulteriore test. Per il nostro esempio, questo potrebbe significare che la variazione con le emoji ha battuto la variazione senza emoji, ma solo di una quantità minima - e non abbastanza perché il risultato del test sia significativo.

In questo caso, consigliamo di testare nuovamente questo fattore altre due o tre volte e di tenere sotto controllo i risultati. Se continua a vedere che il risultato del test non è ritenuto statisticamente significativo, non continui a eseguire il test; passi invece al test A/B di un altro argomento. Se un test rientra in questa categoria, nella pagina dei risultati del test A/B apparirà un'etichetta grigia con la dicitura Non statisticamente significativo.

Per le campagne, il risultato di un test A/B è considerato non statisticamente significativo quando:

• 1.800 hanno ricevuto ogni variante
• La differenza percentuale tra la variazione leader e la variazione al secondo posto è pari o inferiore al 4%.
• La probabilità di vincita è inferiore al 60%.

Inconcludente

Se un test è inconcludente, significa che non ci sono abbastanza informazioni per determinare se qualcosa è statisticamente significativo o meno. Se i risultati del test non corrispondono a nessuno dei criteri per le opzioni di cui sopra, si rientra nella categoria "inconcludente". Può visualizzare questo aspetto utilizzando l'albero decisionale mostrato nella prossima sezione. Si noti che i test non conclusivi non mostreranno un'etichetta che indica se il test è statisticamente significativo o meno nella pagina dei risultati.

In questo caso, potrebbe voler ampliare il suo pubblico per eventuali test di follow-up. Se ha un piccolo gruppo con cui sta facendo il test, interpreti i risultati come meglio crede e rifaccia il test per verificare che ciò che ha scoperto sia accurato. Inoltre, si concentri sulla conoscenza dei suoi abbonati attraverso altri mezzi; ad esempio, indagini, sondaggi, ecc.

Albero decisionale della significatività statistica

Il seguente albero decisionale mostra quando un test A/B rientra in ciascuna categoria. Le linee verdi indicano che la risposta è "sì", mentre il rosso rappresenta il "no".

Risorse aggiuntive

Per saperne di più sui risultati dei test A/B, consulti questo articolo. 

Scopra le migliori pratiche per i test A/B. 

Scopra come effettuare il test A/B delle sue e-mail: 

• Come eseguire il test A/B di un flusso e-mail individuale
• Come fare il test A/B di una campagna e-mail