Comprendere la significatività statistica nei flussi

Scopri quando i risultati di un test A/B sono considerati statisticamente significativi nei flussi Klaviyo. Questo articolo spiega la significatività statistica per i flussi e quando viene determinata.

La significatività statistica è il momento in cui Klaviyo è in grado, da un punto di vista matematico, di determinare se una variante produrrà prestazioni migliori. Puoi configurare un test A/B del flusso per scegliere automaticamente la variante vincente una volta che i risultati del test sono considerati statisticamente significativi.

I test A/B sono fondamentali per aumentare il coinvolgimento degli utenti e migliorare le relazioni con i clienti con un approccio basato sui dati. È importante capire se il test può essere considerato staticamente significativo o meno. Ad esempio, se un'e-mail di flusso presenta 2 varianti e la variante A una percentuale di clic (CR) del 15%, mentre la variante B una percentuale di clic (CR) del 14%, come fai a sapere con certezza se la variante A o B hanno ottenuto risultati migliori?

Come Klaviyo determina la significatività statistica nei flussi

Per i flussi, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio sia la probabilità di vittoria, ovvero la probabilità che una variante produca risultati migliori in base al livello di prestazione rispetto alle altre varianti.

Una variante di messaggio del flusso è considerata statisticamente significativa quando:

• Almeno 500 destinatari hanno ricevuto ogni variante.
• Una variante ha una probabilità di vincita di almeno il 90%.
• Le principali varianti sono chiaramente separate: mostriamo la significatività statistica solo quando gli intervalli di performance probabili della variante in testa e della seconda classificata hanno una sovrapposizione troppo ridotta (<10% di sovrapposizione negli intervalli credibili)

La probabilità di vincita viene calcolata in base alla metrica che hai scelto quando hai configurato il test A/B. Per impostazione predefinita, questa metrica è la percentuale di clic (CR) del messaggio che stai testando. Nella sezione Selezione automatica del vincitore, puoi scegliere di terminare automaticamente il test una volta che una variante del messaggio viene determinata come vincitrice in base alla metrica configurata, oltre all'opzione di terminare il test quando viene raggiunta una data specifica. Puoi selezionare una o entrambe queste opzioni. Se sono selezionati entrambi, il test terminerà in base a quale condizione viene raggiunta per prima: la significatività statistica o la data specificata.

Per maggiori dettagli, consulta il nostro articolo su come eseguire un test A/B di un’e-mail di flusso.

Quando visualizzi i risultati di un test attualmente in corso o completato, nella sezione test A/B vedrai la probabilità di vittoria. Qui vedrai se i risultati del test sono statisticamente significativi e quale variante ha maggiori probabilità di avere prestazioni migliori.

Per maggiori dettagli, consulta il nostro articolo su come esaminare i risultati dei test A/B delle e-mail per i flussi.

Risorse aggiuntive