Comprendere la significatività statistica nei flussi
Scopri quando i risultati di un test A/B sono considerati statisticamente significativi nei flussi Klaviyo. Questo articolo spiega la significatività statistica per i flussi e quando viene determinata.
La significatività statistica è il momento in cui Klaviyo è in grado, da un punto di vista matematico, di determinare se una variante produrrà prestazioni migliori. Puoi configurare un test A/B del flusso per scegliere automaticamente la variante vincente una volta che i risultati del test sono considerati statisticamente significativi.
I test A/B sono fondamentali per aumentare il coinvolgimento degli utenti e migliorare le relazioni con i clienti con un approccio basato sui dati. È importante capire se il test può essere considerato staticamente significativo o meno. Ad esempio, se un'e-mail di flusso presenta 2 varianti e la variante A una percentuale di clic (CR) del 15%, mentre la variante B una percentuale di clic (CR) del 14%, come fai a sapere con certezza se la variante A o B hanno ottenuto risultati migliori?
Come Klaviyo determina la significatività statistica nei flussi
Per i flussi, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio sia la probabilità di vittoria, ovvero la probabilità che una variante produca risultati migliori in base al livello di prestazione rispetto alle altre varianti.
Una variante di messaggio del flusso è considerata statisticamente significativa quando:
- Almeno 500 destinatari hanno ricevuto ogni variante.
- Una variante ha una probabilità di vincita di almeno il 90%.
- Le principali varianti sono chiaramente separate: mostriamo la significatività statistica solo quando gli intervalli di performance probabili della variante in testa e della seconda classificata hanno una sovrapposizione troppo ridotta (<10% di sovrapposizione negli intervalli credibili)
La probabilità di vincita viene calcolata in base alla metrica che hai scelto quando hai configurato il test A/B. Per impostazione predefinita, questa metrica è la percentuale di clic (CR) del messaggio che stai testando. Nella sezione Selezione automatica del vincitore, puoi scegliere di terminare automaticamente il test una volta che una variante del messaggio viene determinata come vincitrice in base alla metrica configurata, oltre all'opzione di terminare il test quando viene raggiunta una data specifica. Puoi selezionare una o entrambe queste opzioni. Se sono selezionati entrambi, il test terminerà in base a quale condizione viene raggiunta per prima: la significatività statistica o la data specificata.
Per maggiori dettagli, consulta il nostro articolo su come eseguire un test A/B di un’e-mail di flusso.
Quando visualizzi i risultati di un test attualmente in corso o completato, nella sezione test A/B vedrai la probabilità di vittoria. Qui vedrai se i risultati del test sono statisticamente significativi e quale variante ha maggiori probabilità di avere prestazioni migliori.
Per maggiori dettagli, consulta il nostro articolo su come esaminare i risultati dei test A/B delle e-mail per i flussi.
Risorse aggiuntive
- Best practice per i test A/B di riferimento
Scopri le best practice per usare le funzionalità di test A/B di Klaviyo e ottimizzare la tua comunicazione con i clienti.
Learn about other A/B tests you can run:
- Come eseguire un test A/B di un e-mail di flusso
Scopri come usare l’esperienza di test A/B di Klaviyo per testare singoli messaggi e-mail in un flusso, inclusi elementi come l’oggetto, gli sconti e il contenuto dell’e-mail, ecc. Puoi anche usare i test A/B per determinare se i messaggi e-mail in testo semplice offrono prestazioni migliori rispetto ai messaggi e-mail HTML ricchi di immagini.
- Come eseguire test A/B di una campagna e-mail
Scopri come impostare ed eseguire un test A/B per una campagna, come leggere i risultati del test e alcuni casi d’uso per il test A/B delle campagne. La funzionalità di test A/B di Klaviyo per le campagne ti consente di testare facilmente oggetto, contenuto del messaggio e ora di invio diversi, così puoi capire meglio cosa funziona di più per il tuo pubblico.
- Come eseguire un test A/B su un modulo d'iscrizione
Scopri come usare il test A/B per valutare le prestazioni di vari elementi dei moduli d'iscrizione. Analizzando efficacemente i risultati, puoi assicurarti che i tuoi moduli siano in sintonia con chi visita il sito e contribuiscano alla crescita della lista.