Come rivedere i risultati dei test A/B per le campagne
Cosa imparerai
Scopri quali dati puoi trovare nella pagina dei risultati del test A/B e cosa significa ciascuno di questi indicatori. Le informazioni in questa guida si applicano sia al test A/B con campagne e-mail sia al test A/B con campagne SMS.
Le campagne di test A/B possono offrire approfondimenti preziosi sul tuo pubblico, rendendo semplice capire quali modifiche apportare alla tua strategia di invio. Non solo conoscerai la variante vincente di un test A/B, ma anche altri fattori importanti, come la probabilità di vittoria e i dettagli della metrica vincente.
Risultati del test A/B
Per visualizzare i risultati di un test A/B:
- Vai alla campagna che stai testando.
- Seleziona la scheda Risultati del test A/B del report principale della campagna.
Panoramica del test
Per un test A/B standard, la sezione Panoramica del test mostra quanto segue:
- Variante vincente
Una volta completato un test, la variante con la metrica vincente più alta per i risultati che stai visualizzando. - Stato
Se il test A/B è in corso (ad esempio sta raccogliendo dati analitici) o è completato. - Probabilità di vincita
Quanto è probabile che la variante vincente abbia davvero ottenuto il tasso di apertura, il tasso di clic o il tasso di ordine più elevato, tenendo conto della casualità, e se questa probabilità è considerata statisticamente significativa. - Aumento
Di quanto la variante vincente ha ottenuto risultati migliori rispetto all’altra variante. Calcolato in base alla metrica vincente (ad esempio tasso di apertura, percentuale di clic (CR) o tasso di ordine effettuato). Per i test con 3 o più varianti, per il confronto viene utilizzato il test con le seconde migliori prestazioni. - Metrica vincente
I risultati della variante vincente per la metrica usata per il test. Ad esempio, se il tasso di apertura è stato scelto come metrica vincente, verrà mostrata la percentuale del tasso di apertura.
Sotto questi risultati, puoi rivedere il tasso di apertura e la percentuale di clic (CR) di ogni variante per le e-mail, oppure la percentuale di clic (CR) per gli SMS. La tabella mostra anche i risultati di conversione quando è disponibile una metrica di conversione; non sempre si tratta di Ordine effettuato.
Per un test A/B standard completato con un gruppo di test più piccolo del pubblico completo, usa le schede in Panoramica del test per confrontare:
- Risultati del periodo di test mostra le interazioni durante il periodo di test dei destinatari nel gruppo di test.
- Risultati continui include le interazioni successive dello stesso gruppo di test. La variante principale può cambiare man mano che arrivano altri risultati.
Rivedi di seguito il riepilogo dell’invio vincente per le interazioni con la variante vincente inviata ai restanti destinatari dopo il periodo di test.
Come viene calcolato il lift
La percentuale di incremento è diversa dalla percentuale mostrata per la tua variante vincente. Questo perché la percentuale mostrata accanto a ciascuna variante è la percentuale di persone che hanno interagito con il messaggio (apertura, clic, ordine effettuato), mentre l'incremento è la percentuale di miglioramento che la variante vincente ha ottenuto rispetto all'altra variante.
Ad esempio, se stai usando la percentuale di clic (CR) come metrica vincente e la variante A ha 5/100 (5%) di destinatari che fanno clic e la variante B ha 4/100 (4%) di destinatari che fanno clic, la differenza è di 1 punto percentuale. Il lift confronta quella differenza con la percentuale di clic (CR) della variante B: (5% − 4%) / 4% × 100 = 25%. La variante A ha quindi una percentuale di clic (CR) del 5% e un lift del 25% rispetto alla variante B.
Risultati della variante personalizzata
L’opzione per scegliere una strategia di test richiede almeno 400.000 profili totali. Se l'opzione non è disponibile nel tuo account, Klaviyo utilizza la strategia di test della variante vincente.
Se hai scelto Varianti personalizzate per ogni destinatario, una volta completato il test seleziona Risultati del periodo di test per visualizzare le seguenti metriche:
- Incremento totale del test A/B
Il miglioramento stimato ottenuto dalle varianti personalizzate rispetto alla seconda variante migliore in un test A/B standard, in base alla metrica vincente (tasso di apertura o percentuale di clic (CR)). - Aumento della Personalization lift
Il miglioramento stimato ottenuto dalle varianti personalizzate rispetto all’invio a tutti della variante vincente di un test A/B standard. - Personalization tasso di apertura o Personalization percentuale di clic (CR)
Il tasso di apertura o la percentuale di clic (CR) stimati per le varianti personalizzate, in base ai destinatari del test che hanno ricevuto la variante che Klaviyo aveva previsto avrebbero preferito. La metrica mostrata dipende dalla metrica vincente che hai selezionato. - Caratteristiche del profilo derivate da Klaviyo AI
Caratteristiche associate a destinatari che avevano maggiori probabilità di interagire con una variante specifica. Espandi ogni variante per vedere le sue caratteristiche, che possono variare tra le varianti.
Esamina il Riepilogo invii personalizzati per le interazioni con le varianti personalizzate inviate dopo il periodo di test.
Comprendere la probabilità di vincita e la significatività statistica
Ad esempio, potresti voler vedere se l'aggiunta di emoji all'oggetto influisce sul tasso di apertura del tuo elenco e-mail. Se invii il test solo a 2 iscritti e le emoji ottengono un tasso di apertura migliore, non puoi dire con certezza che il resto dell'elenco e-mail la penserà allo stesso modo. Se invece hai testato con 100 persone nel tuo elenco e-mail e hai scoperto che le emoji hanno un tasso di apertura significativamente più alto, ti sentiresti molto più sicuro che usare le emoji nell’oggetto è meglio per il tuo pubblico.
In Probabilità di vincita, un test A/B standard completato può mostrare un’etichetta di significatività statistica. Un risultato è statisticamente significativo quando la sua probabilità di vincita è superiore al 90% e ciascuna variante ha più di 50 consegne e-mail riuscite o tentativi di consegna SMS. Un test può anche essere promettente, non conclusivo o non statisticamente significativo. Per risultati promettenti, ripeti il test per confermare il risultato. I risultati inconcludenti non mostrano un'etichetta di significatività. Scopri di più sulla significatività statistica in Klaviyo.
Risorse aggiuntive
- Best practice per i test A/B di riferimento
Scopri le best practice per usare le funzionalità di test A/B di Klaviyo e ottimizzare la tua comunicazione con i clienti.
- Come eseguire un test A/B su un modulo d'iscrizione
Scopri come usare il test A/B per valutare le prestazioni di vari elementi dei moduli d'iscrizione. Analizzando efficacemente i risultati, puoi assicurarti che i tuoi moduli siano in sintonia con chi visita il sito e contribuiscano alla crescita della lista.
- Come eseguire un test A/B di un e-mail di flusso
Scopri come usare l’esperienza di test A/B di Klaviyo per testare singoli messaggi e-mail in un flusso, inclusi elementi come l’oggetto, gli sconti e il contenuto dell’e-mail, ecc. Puoi anche usare i test A/B per determinare se i messaggi e-mail in testo semplice offrono prestazioni migliori rispetto ai messaggi e-mail HTML ricchi di immagini.
- Come eseguire test A/B di una campagna e-mail
Scopri come impostare ed eseguire un test A/B per una campagna, come leggere i risultati del test e alcuni casi d’uso per il test A/B delle campagne. La funzionalità di test A/B di Klaviyo per le campagne ti consente di testare facilmente oggetto, contenuto del messaggio e ora di invio diversi, così puoi capire meglio cosa funziona di più per il tuo pubblico.