Come rivedere i risultati dei test A/B per le campagne

Imparerai

Scopra quali dati può trovare nella pagina dei risultati del test A/B e cosa significa ciascuno di questi indicatori. Le informazioni contenute in questa guida si applicano sia ai test A/B delle campagne e-mail che a quelli delle campagne SMS.

Le campagne di test A/B possono fornire preziose informazioni sul suo pubblico, semplificando la determinazione delle modifiche da apportare alla sua strategia di invio. Non solo conoscerà la variante vincente per un test A/B, ma anche altri fattori importanti, come la percentuale di fiducia nella vittoria e i dettagli della metrica vincente.

Risultati del test A/B

Per vedere i risultati di un test A/B:

1. Si rechi alla campagna che sta testando.
2. Selezioni la scheda Risultati del test A/B del rapporto principale della campagna.
   

Panoramica del test

Nella sezione Risultati del test, vedrà un'istantanea con quanto segue:

• Variazione vincente
  Una volta completato un test, la variante che ha vinto.
• Stato
  Se il test A/B è in corso (cioè sta raccogliendo analisi) o è completo.
• Probabilità di vittoria
  Quanto è probabile che la variante vincente abbia davvero il tasso di apertura, di clic o di ordini effettuati più alto, dopo aver preso in considerazione il caso casuale, e se questa probabilità è considerata statisticamente significativa.
• Sollevare
  Quanto meglio si è comportata la variante vincente rispetto all'altra variante. Calcolato in base alla metrica vincente (ad esempio, tasso di apertura, tasso di clic o tasso di ordine effettuato). Per i test con più di 3 varianti, viene utilizzato il secondo test con le migliori prestazioni per il confronto.
• Metrica vincente
  I risultati della variante vincente per la metrica utilizzata per il test. Ad esempio, se il tasso di apertura è stato scelto come metrica vincente, verrà mostrata la percentuale di apertura.

Sotto questi risultati, può esaminare i tassi di apertura, di clic e di ordini effettuati per ogni variante del test.

Come si calcola la portanza

La percentuale di sollevamento è diversa dalla percentuale indicata per la sua variante vincente. Questo perché la percentuale indicata accanto a ciascuna variante è la percentuale di persone che hanno interagito con l'e-mail (apertura, clic, ordine effettuato), mentre la portanza è la percentuale di miglioramento che il vincitore ha avuto rispetto all'altra variante.

Ad esempio, se utilizza il tasso di clic come metrica vincente e la variante A ha 5/100 (5%) di clic dei destinatari e la variante B ha 4/100 (4%) di clic dei destinatari, la differenza tra le varianti è di 1 clic. Ciò significa che il sollevamento è stato di 1/5 (20%). In altre parole, il sollevamento è stato del 20% con la variante A che aveva un tasso di clic del 5% e la variante B con un tasso di clic del 4%.

Risultati di variazione personalizzati

Se ha scelto l'opzione di personalizzare le varianti per ogni destinatario, vedrà delle metriche leggermente diverse nella pagina dei risultati del test, tra cui le seguenti:

• Sollevamento totale del test A/B
  La performance della variante migliore rispetto alla seconda variante migliore. Calcolato in base alla metrica vincente (ad esempio, tasso di apertura o tasso di clic).
• Sollevamento della personalizzazione
  Percentuale di quanto ha avuto più successo il test personalizzato rispetto a un test A/B standard.
• Tasso di clic della personalizzazione
  Il tasso medio di clic tra tutte le varianti di profili che hanno ricevuto la loro variante preferita.
• Caratteristiche del profilo derivate dall'AI di Klaviyo
  Un elenco dei dati utilizzati dall'AI per determinare un modello tra i profili che hanno preferito una variante specifica, ossia quali fattori hanno probabilmente indotto qualcuno a preferire una variante rispetto all'altra. Clicchi su ogni variante per vedere i dati utilizzati, che saranno diversi per ogni variante.

Comprendere la fiducia nella vincita e la significatività statistica

Supponiamo, ad esempio, che lei voglia verificare se l'aggiunta di emoji alla sua riga dell'oggetto influisce sul tasso di apertura della sua lista di e-mail. Se invia il test solo a 2 abbonati e le emoji hanno un tasso di apertura migliore, non può dire con certezza che il resto della sua lista di e-mail la penserà allo stesso modo. Se invece facesse un test con 100 persone della sua lista e-mail e scoprisse che le emoji hanno un tasso di apertura sostanzialmente più alto, si sentirebbe molto più sicuro che l'uso delle emoji nelle righe degli oggetti è migliore per il suo pubblico.

Sotto la voce Win probability, vedrà se la variazione mostrata è statisticamente significativa o meno. Se viene ritenuto significativo, significa che la variazione ha un'alta probabilità di vincita (cioè il 90% o più). Un test potrebbe anche essere promettente, inconcludente o non statisticamente significativo. Per saperne di più sulla significatività statistica in Klaviyo.

Risorse aggiuntive