Comprendere la significatività statistica nelle campagne Klaviyo

Cosa imparerai

Scopri come capire se un test A/B è statisticamente significativo. Ad esempio, se la variante A della campagna ha un tasso di apertura del 15% e la variante B ha un tasso di apertura del 14%, come fai a sapere quale variante ha ottenuto risultati migliori?

Nota sulla funzionalità Mail Privacy Protection di Apple

Con il rilascio di iOS 15, macOS Monterey, iPadOS 15 e watchOS 8, il nuovo sistema di protezione della privacy chiamato Apple Mail Privacy Protection (MPP) ha cambiato il modo in cui riceviamo i dati sul tasso di apertura delle e-mail, preconfigurando il nostro pixel di tracciamento. Con questo cambiamento, è importante capire che i tassi di apertura saranno gonfiati.

Le aperture MPP sono incluse quando un test A/B utilizza il tasso di apertura come metrica vincente. La significatività statistica non dimostra che i destinatari abbiano aperto intenzionalmente l’e-mail. Considera la percentuale di clic (CR) se MPP rende i risultati del tasso di apertura difficili da interpretare. Per capire in che modo MPP influisce sul tuo pubblico, crea un report personalizzato che includa una proprietà MPP. Puoi anche identificare queste aperture nei tuoi singoli segmenti di iscritti.

Per informazioni complete sulle aperture MPP, visita la nostra guida iOS 15: come prepararsi ai cambiamenti di Apple.

Categorie di significatività statistica

La significatività statistica indica una forte evidenza che una variante abbia prestazioni migliori delle altre per la metrica vincente che hai scelto. Per le campagne, Klaviyo valuta sia la dimensione del pubblico sia la probabilità di vittoria: la probabilità stimata che una variante abbia il tasso più alto per quella metrica, in base ai dati del test.

Quando esegui un test A/B, dovresti evitare qualsiasi fattore che possa influenzare in modo significativo il tuo pubblico; ad esempio, non ripetere il test vicino a un weekend festivo, quando il pubblico è molto più propenso a cercare le tue e-mail.

Quando si tratta di test A/B delle campagne, esistono 4 categorie di significatività statistica:

• Statisticamente significativo
• Promettente
• Non statisticamente significativo
• Inconcludente

Per rivedere i risultati, apri il report della campagna e seleziona risultati del test A/B. Al termine del test, guarda sotto Probabilità di vittoria. Se sono disponibili sia Risultati del periodo di test sia Risultati continui, seleziona Risultati del periodo di test per valutare i dati raccolti prima della selezione del vincitore. Risultati continui include le attività successive dei destinatari del test.

Statisticamente significativo

L’etichetta Statisticamente significativo nel tuo test A/B indica che è molto probabile che una variante superi l’altra/le altre opzione/i per la metrica scelta, in base ai dati del test. Puoi usare ciò che hai imparato per orientare gli invii futuri, ma il risultato non garantisce lo stesso esito con un pubblico, un messaggio o un'ora di invio diversi.

Per le campagne Klaviyo, il risultato di un test A/B è considerato statisticamente significativo quando:

• Ogni variante ha più di 50 invii riusciti per e-mail o più di 50 destinatari per SMS.
• La probabilità di vincita è superiore al 90%.

Questi criteri combinano le dimensioni del pubblico con la fiducia nel risultato per la metrica vincente scelta: tasso di apertura, percentuale di clic (CR) o tasso di ordine. La probabilità di vittoria visualizzata viene arrotondata, quindi usa l'etichetta del risultato o l'avviso quando interpreti un valore vicino a una soglia.

Ad esempio, supponiamo che tu stia testando se un’emoji nell’oggetto influisce sul tasso di apertura. I risultati mostrano che ha vinto la variante con l’emoji e ha l’etichetta Statisticamente significativo. Questo supporta l’uso dell’emoji in invii simili a quel pubblico, ma non dimostra che le emoji miglioreranno costantemente il tasso di apertura in ogni campagna.

Tuttavia, quando agisci sui risultati del test, dovresti sempre usare il tuo miglior giudizio. Se stai inviando un messaggio più serio o solenne, ad esempio, potrebbe non essere opportuno usare un'emoji.

Promettente

Quando i risultati sono promettenti, una variante sembra avere prestazioni migliori dell’altra (o delle altre), ma le evidenze non sono abbastanza solide basandosi solo sul test. I risultati promettenti non hanno un’etichetta di significatività. Per un test completato, un avviso consiglia di ripetere il test. Se Test period results è disponibile, guarda lì per questo avviso. Se una variante diversa è in testa in Continuous results, viene invece visualizzato un avviso relativo al cambio di vincitore.

Per un risultato promettente, esegui un altro test A/B simile per verificare se il risultato si conferma. Tornando all’esempio degli emoji, risultati promettenti ripetuti possono suggerire un pattern, ma da soli non confermano la significatività statistica. Usali per orientare ulteriori test, invece di dare per scontato che gli emoji miglioreranno ogni campagna.

Per le campagne, un risultato del test A/B è considerato promettente quando:

• Ogni variante ha più di 50 invii riusciti per e-mail o più di 50 destinatari per SMS.
• La probabilità di vincita è superiore al 75% e non superiore al 90%.

Non statisticamente significativo

Un risultato non statisticamente significativo significa che il test non fornisce prove sufficientemente solide che la variante principale abbia prestazioni migliori. Una variante può comunque essere selezionata come vincitrice anche quando il risultato non è statisticamente significativo.

Nel nostro esempio, questo potrebbe significare che la variante con l'emoji ha superato la/le variante/i senza emoji, ma solo di pochissimo; non abbastanza perché il risultato del test sia significativo.

In questo caso, ti consigliamo di ripetere il test di questo fattore altre 2 o 3 volte e di monitorare attentamente i risultati.

Se continui a vedere che il risultato del test viene considerato non statisticamente significativo, non continuare a testare; passa invece a fare un test A/B su un argomento diverso. Se un test rientra in questa categoria, nella pagina dei risultati del test A/B verrà visualizzata l’etichetta Non statisticamente significativo.

Per le campagne, ogni variante deve avere più di 50 consegne riuscite per e-mail oppure più di 50 destinatari per SMS prima che un risultato possa essere classificato come non statisticamente significativo. Una volta raggiunto quel minimo, si applica una di queste condizioni:

• La probabilità di successo è pari o inferiore al 75% e ogni variante ha più di 1.800 consegne riuscite per e-mail o più di 1.800 destinatari per SMS.
• La probabilità di vincita è inferiore al 60% e la differenza nella metrica vincente tra la variante in testa e la seconda classificata è inferiore a 4 punti percentuali.

Inconcludente

Se un test è inconcludente, non ci sono informazioni sufficienti per determinare se una variante ha prestazioni migliori. Se una variante ha 50 o meno consegne riuscite per l’e-mail o 50 o meno destinatari per SMS, il risultato è inconcludente indipendentemente dalla probabilità di vincita. Anche i risultati che non soddisfano i criteri di nessun’altra categoria sono inconcludenti. Puoi visualizzare le categorie usando l’albero decisionale nella sezione successiva. I test inconcludenti non mostrano un’etichetta di significatività statistica nella pagina dei risultati.

In questo caso, potresti voler ampliare il tuo pubblico per eventuali test di follow-up. Se stai effettuando un test con un gruppo piccolo, interpreta i risultati come ritieni opportuno e ripeti il test per verificare che ciò che hai trovato sia accurato. Inoltre, concentrati sul conoscere meglio i tuoi iscritti con altri mezzi, ad es. sondaggi, questionari, ecc.

Albero decisionale della significatività statistica

Il seguente albero decisionale mostra quando un test A/B rientra in ciascuna categoria. Le linee verdi indicano che la risposta è “sì”, mentre quelle rosse indicano “no”.

Risorse aggiuntive