Comprendere la significatività statistica nei flussi

Imparerai

Scopra quando i risultati di un test A/B sono considerati statisticamente significativi nei flussi di Klaviyo. Questo articolo spiegherà la significatività statistica dei flussi e quando viene decisa.

La significatività statistica è quando Klaviyo è matematicamente in grado di determinare se una variazione produrrà un miglioramento delle prestazioni. Può configurare un test A/B di flusso per scegliere automaticamente una variante vincente una volta che i risultati del test sono considerati statisticamente significativi.

I test A/B sono fondamentali per ottenere un maggiore coinvolgimento e migliorare le relazioni con i clienti attraverso un approccio basato sui dati. È importante capire se il test può essere considerato staticamente significativo o meno. Per esempio, se un flusso di e-mail ha 2 varianti e la variante A ha un tasso di clic del 15%, mentre la variante B ha un tasso di clic del 14%, come si fa a sapere con certezza se la variante A o B ha ottenuto risultati migliori?

Come Klaviyo determina la significatività statistica nei flussi

Per i flussi, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio che la probabilità di vittoria, ossia la probabilità che una variante produca risultati migliori in base a quanto supera le altre varianti.

Una variazione del messaggio di flusso è considerata statisticamente significativa quando:

• Almeno 500 destinatari hanno ricevuto ogni variante.
• Una variante ha almeno il 90% di probabilità di vincita.

La probabilità di vincita viene calcolata in base alla metrica scelta al momento della configurazione del test A/B. Per impostazione predefinita, questa metrica è il tasso di clic del messaggio che sta testando. Nella sezione Selezione automatica del vincitore, ha l'opzione di terminare automaticamente il test una volta che una variante di messaggio viene determinata come vincente in base alla metrica configurata, nonché l'opzione di terminare il test una volta raggiunta una data specifica. Può selezionare una o entrambe le opzioni. Se si selezionano entrambi, il test terminerà in base a quello che viene raggiunto per primo, la significatività statistica o la data specificata.

Per maggiori dettagli, consulti il nostro articolo su come effettuare il test A/B di un flusso e-mail.

Quando visualizza i risultati di un test in corso, vedrà la probabilità di vincita nella barra laterale dei dettagli a destra nella sezione del test A/B. Qui vedrà se i risultati del test sono statisticamente significativi e quale variante è probabile che abbia prestazioni migliori.

Per maggiori dettagli, consulti il nostro articolo su come esaminare i risultati dei test A/B delle e-mail per i flussi.

Risorse aggiuntive

Consulti il nostro articolo sulle migliori pratiche per i test A/B. 

Scopra altri test A/B che può eseguire:

• Come fare il test A/B di un flusso e-mail
• Come fare il test A/B di una campagna e-mail
• Come fare il test A/B di un modulo di iscrizione