Comprendere la significatività statistica nei flussi
Scopra quando i risultati di un test A/B sono considerati statisticamente significativi nei flussi di Klaviyo. Questo articolo spiegherà la significatività statistica dei flussi e quando viene decisa.
La significatività statistica è quando Klaviyo è matematicamente in grado di determinare se una variazione produrrà un miglioramento delle prestazioni. Può configurare un test A/B di flusso per scegliere automaticamente una variante vincente una volta che i risultati del test sono considerati statisticamente significativi.
I test A/B sono fondamentali per ottenere un maggiore coinvolgimento e migliorare le relazioni con i clienti attraverso un approccio basato sui dati. È importante capire se il test può essere considerato staticamente significativo o meno. Per esempio, se un flusso di e-mail ha 2 varianti e la variante A ha un tasso di clic del 15%, mentre la variante B ha un tasso di clic del 14%, come si fa a sapere con certezza se la variante A o B ha ottenuto risultati migliori?
Come Klaviyo determina la significatività statistica nei flussi
Per i flussi, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio che la probabilità di vittoria, ossia la probabilità che una variante produca risultati migliori in base a quanto supera le altre varianti.
Una variazione del messaggio di flusso è considerata statisticamente significativa quando:
- Almeno 500 destinatari hanno ricevuto ogni variante.
- Una variante ha almeno il 90% di probabilità di vincita.
- Le varianti migliori sono chiaramente separate: mostriamo la significatività statistica solo quando gli intervalli di prestazioni probabili della variante principale e del secondo classificato hanno sovrapposizioni troppo piccole (<10% sovrapposizioni in intervalli credibili)
La probabilità di vincita viene calcolata in base alla metrica scelta al momento della configurazione del test A/B. Per impostazione predefinita, questa metrica è il tasso di clic del messaggio che sta testando. Nella sezione Selezione automatica del vincitore, ha l'opzione di terminare automaticamente il test una volta che una variante di messaggio viene determinata come vincente in base alla metrica configurata, nonché l'opzione di terminare il test una volta raggiunta una data specifica. Può selezionare una o entrambe le opzioni. Se si selezionano entrambi, il test terminerà in base a quello che viene raggiunto per primo, la significatività statistica o la data specificata.
Per maggiori dettagli, consulti il nostro articolo su come effettuare il test A/B di un flusso e-mail.
Quando visualizzi i risultati di un test in corso o completato, vedrai la probabilità di vincita nella sezione dedicata al test A/B. Qui potrai vedere se i risultati del test sono statisticamente significativi e quale variante è probabilmente più performante.
Per maggiori dettagli, consulti il nostro articolo su come esaminare i risultati dei test A/B delle e-mail per i flussi.
Risorse aggiuntive
- Le migliori pratiche per i test A/B di riferimento
Impara le migliori pratiche per utilizzare le funzioni di test A/B di Klaviyo per ottimizzare la comunicazione con i clienti.
Scopra altri test A/B che può eseguire:
- Come fare il test A/B di un flusso e-mail
Impari a utilizzare l'esperienza di test A/B di Klaviyo per testare le singole e-mail in un flusso, compresi elementi come la riga dell'oggetto, gli sconti, il contenuto dell'e-mail, ecc. Può anche utilizzare i test A/B per determinare se le e-mail in testo semplice hanno un rendimento migliore rispetto a quelle in HTML con immagini.
- Come fare il test A/B di una campagna e-mail
Scopra come impostare ed eseguire un test A/B per una campagna, come leggere i risultati del test e alcuni casi d'uso del test A/B per la campagna. KlaviyoLa funzione di test A/B per la campagna le permette di testare facilmente diversi oggetti, contenuti del messaggio e ora di invio, in modo da capire meglio cosa funziona meglio per il suo pubblico.
- Come fare il test A/B di un modulo di iscrizione
Impari a utilizzare il test A/B per valutare le prestazioni di vari elementi del suo modulo d'iscrizione. Analizzando efficacemente i risultati, può assicurarsi che i suoi moduli risuonino con i visitatori del sito e contribuiscano all'elenco crescita.