Come eseguire un test A/B su un modulo d'iscrizione

Cosa imparerai

Scopri come usare il test A/B per valutare le prestazioni di vari elementi dei moduli d'iscrizione. Analizzando efficacemente i risultati, puoi assicurarti che i tuoi moduli siano in sintonia con chi visita il sito e contribuiscano alla crescita della lista.

Preparazione del test A/B

Prima di iniziare a creare il tuo test A/B, considera queste linee guida generali:

• Esegui il test di 1 variabile alla volta (ad es. un'offerta coupon)
  • Concentrati sulla modifica di una sola variabile (elemento) alla volta, ad esempio un coupon, per valutarne chiaramente l’impatto.
• Inizia con poco con varianti di test
  • Quando testi una variabile (ad es. un'offerta coupon), inizia con 2 varianti per misurarne l'efficacia. Puoi aumentare la complessità nei test successivi man mano che raccogli più dati, ma punta a non superare le 4 varianti per ottenere risultati affidabili con meno traffico.
• Evita modifiche durante il test
  • Evita di modificare le impostazioni del test mentre il test è attivo, quindi verifica le impostazioni in anticipo. Non puoi modificare il contenuto delle varianti in esecuzione. Per preparare modifiche ai contenuti, crea una copia in bozza del test; il test attuale rimane attivo finché non pubblichi quello nuovo.
• Consenti una durata del test significativa
  • Attendi risultati statisticamente significativi o finché non hai un campione di visualizzatori sufficiente per terminare il test. Ricorda: più varianti richiedono più traffico per risultati affidabili.
• Comprendere la significatività statistica
  • Consulta in che modo la significatività statistica influisce sui risultati di un test A/B.

Cosa testare con un test A/B

Creazione di un test A/B

Creazione di un test

Esistono 2 modi diversi per creare un test A/B per il tuo modulo d'iscrizione:

• Nella scheda Modulo d'iscrizione, clicca sul menu a discesa con i 3 puntini accanto al modulo che vuoi testare e seleziona Crea test A/B.
• Apri l’editor del modulo per il modulo d’iscrizione che vuoi testare. Seleziona Crea test A/B nella barra laterale sinistra, quindi fai clic su Crea test A/B nel pannello.

A prescindere da dove accedi:

1. Nella finestra Crea test, seleziona Test A/B se viene visualizzato un selettore del tipo di test.

2. Poi assegna al test un nome descrittivo. Se stai testando i colori dei pulsanti sul popup della newsletter, potresti chiamare il test Newsletter - Colore del pulsante Invia.
3. Dopo aver assegnato un nome al tuo test A/B, assegna nomi diversi alle varianti del tuo modulo d'iscrizione in modo da poterle distinguere.
   • Per impostazione predefinita, avrà il nome Copia n. di Nome del modulo. Con l’esempio precedente del pulsante di invio di colore diverso, potresti avere i tuoi moduli denominati Newsletter - Blu e Newsletter - Grigio.
   • Qui puoi anche aggiungere altre varianti selezionando il pulsante di copia. Il tuo test A/B può contenere fino a 7 varianti in totale. Tieni presente che più varianti aggiungi, più a lungo dovrai eseguire il test. Un test A/B ideale avrebbe tra 2 e 4 varianti. Nell’esempio seguente ci sono 3 varianti: il modulo originale e i 2 test aggiuntivi.
4. Dopo aver configurato il test, seleziona Crea test.
   

Configurazione delle varianti

Dopo aver creato il test, verrai reindirizzato di nuovo all’editor del modulo d'iscrizione. Nel pannello Crea test A/B, seleziona la lettera di una variante (A, B e così via) per modificarla. Usa il campo del nome, l’icona di copia o l’icona di eliminazione accanto a una variante per rinominarla, duplicarla o eliminarla.

Per trovare ispirazione, consulta la sezione Cosa sottoporre a test A/B.

Dopo aver completato la configurazione del modulo, seleziona Continua con le impostazioni di test.

Configurazione delle impostazioni del test A/B

Nella pagina delle impostazioni del test, puoi personalizzare:

• Nomi delle varianti
• Selezione del traffico (peso)
• Selezione della variante vincente
• Note

Per un test di invio, puoi anche selezionare il tuo modulo nella pagina Moduli d'iscrizione, quindi selezionare Risultati test A/B > Modifica test A/B.

Selezione del traffico

Da questa sezione puoi determinare quanta parte del traffico va alle varianti del tuo modulo. Per impostazione predefinita, ogni modulo verrà mostrato a un numero uguale di visualizzatori. Durante l’esecuzione del test, se una delle tue varianti supera le altre in termini di prestazioni, Klaviyo indirizzerà il traffico al modulo con prestazioni migliori mentre il test è ancora in corso.

Attiva Imposta manualmente il traffico per specificare la percentuale di traffico che va a ciascuna variante. Quando modifichi una percentuale, Klaviyo regola le altre percentuali in modo che il totale resti al 100%.

Selezione della variante vincente

Come nella sezione di selezione del traffico, hai 2 opzioni per determinare come scegliere il vincitore del test. Puoi terminare il test automaticamente o manualmente.

• Automaticamente
  Se termini automaticamente il test, si concluderà quando c’è 1 variante che supera le altre a un livello statisticamente significativo o quando raggiunge una data specifica. Puoi anche selezionare entrambe le caselle e il test terminerà quando viene soddisfatta 1 delle condizioni. Ad esempio, se selezioni entrambe le condizioni e il modulo verrà eseguito solo per un mese, se il modulo ottiene risultati statisticamente significativi dopo una settimana, il test terminerà.
  • Se termini il test quando i risultati sono statisticamente significativi, il modello di data science di Klaviyo farà i calcoli per te e sceglierà un vincitore.
  • Se scegli di terminare il test in una data specifica, il test terminerà a mezzanotte (tempo coordinato universale, UTC).
• Manuale
  Se scegli di terminare il test manualmente (deseleziona entrambe le caselle), sceglierai sia il vincitore sia la data di fine del test.

Indipendentemente dalla selezione automatica che scegli, al termine del test il modulo vincitore sarà attivo sul tuo sito.

1. Seleziona Pubblica test A/B dopo aver completato la modifica delle impostazioni del test.
2. Rivedi i controlli di installazione e dei contenuti nella finestra di conferma, inclusi eventuali testi di consenso o problemi con i campi del modulo. Se il test include un modulo incorporato, assicurati che il relativo codice di incorporamento sia installato dove dovrebbe apparire il modulo.
3. Seleziona Pubblica per avviare il test.

Rivedi i risultati del test A/B

Mentre il test è in esecuzione o dopo aver completato il test A/B, puoi monitorare i dati nel tuo account. Vai a Moduli di iscrizione, quindi seleziona il modulo. Nella scheda Panoramica, puoi vedere le prestazioni complessive del modulo. Seleziona la scheda Risultati del test A/B per approfondire le analisi specifiche del test A/B.

Per un test in corso, puoi anche modificare le impostazioni del tuo test A/B. Per farlo, seleziona Modifica test A/B nell’angolo in alto a destra della scheda dei risultati del test A/B. Qui potrai modificare le impostazioni del test (ad es. nome, peso della variante, impostazioni di selezione del vincitore).

Non puoi modificare il contenuto delle varianti in esecuzione. In Impostazioni test A/B, seleziona Modifica contenuto, inserisci un nome per il nuovo test e seleziona Continua per creare una copia in bozza. Il test attuale resta attivo mentre modifichi la copia. Quando pubblichi il nuovo test, sostituisce il test attuale.

Panoramica del test

In Panoramica, avrai una panoramica di come sta andando il tuo test. Usa il menu a discesa del test sopra questa sezione per passare dai test A/B correnti a quelli precedenti. Le metriche mostrate in Panoramica includono:

• Probabilità di vincita
  La probabilità di vincita viene visualizzata nella scheda in alto a sinistra. Questa percentuale stima la probabilità che il tasso di invio del modulo della variante principale sia davvero più alto dei tassi delle altre varianti. Può aumentare o diminuire man mano che vengono raccolti più dati. L'etichetta sotto la probabilità di vincita indica se i risultati sono statisticamente significativi. Per un test completato, la panoramica mostra anche se è terminato automaticamente o manualmente.
• Data di inizio e Data di fine
  Le date di inizio e di fine del test sono elencate nella scheda in alto a destra. Durante l'esecuzione del test, Data di fine mostra un segnaposto, anche se imposti una data di fine. Una volta terminato il test, mostra la data e l’ora di fine effettive.

Sotto queste schede vengono visualizzati i dati grezzi di ogni variante del modulo nel tuo test. Accanto a ciascuna variante, puoi vedere una ripartizione delle seguenti metriche per variante:

• Peso attuale
  Questa metrica riflette il peso attuale del traffico indirizzato a ciascun modulo. Se hai selezionato manualmente quanto traffico va a ciascun modulo, questi numeri saranno coerenti con le impostazioni di traffico manuale attuali. Se stai utilizzando il modello di data science di Klaviyo, vedrai il peso del traffico cambiare nel tempo, assegnando più traffico al modulo che sta vincendo e consentendoti di ottenere più iscritti mentre esegui il test.
• Ordini
  Il numero di ordini effettuati attribuiti a questo modulo.
• Valore medio dell'ordine (valore medio dell'ordine)
  Il fatturato del negozio associato a questo modulo diviso per il numero di ordini associati al modulo.
• Ricavi
  La somma dei valori degli ordini effettuati collegati a questo modulo entro la finestra temporale di lookback configurata. Le impostazioni delle entrate del modulo determinano se le entrate vengono collegate dopo che un visitatore invia un passaggio o raggiunge il passaggio di successo.

• Visualizzazioni uniche
  Il numero di utenti unici che hanno visualizzato una variante del modulo d'iscrizione (ad esempio se 1 visitatore del sito visualizza il tuo modulo due volte, conta come 1 visualizzazione).
• Invii univoci
  Il numero di utenti univoci che inviano una variante del modulo d'iscrizione o cliccano su un pulsante "Vai all'URL" (ad es. se 1 visitatore del sito invia il tuo modulo due volte, viene conteggiato come 1 invio). Se il modulo ha sia un pulsante di invio sia un pulsante "Vai all'URL", l'evento verrà conteggiato solo quando qualcuno invia il modulo.
• Tasso di invio
  Il valore Invii unici diviso per il numero di Visualizzazioni uniche. Poiché questo tasso usa metriche uniche, può differire dal Tasso di invio nella scheda Panoramica, che usa i totali.

Grafico del tasso di invio del modulo

Sotto i dati grezzi trovi un grafico delle varianti, che mostra il tasso di invio del modulo per variante durante l’intera durata del test A/B. Se ti interessa una data specifica, passa il mouse sui punti dati per maggiori informazioni.

Tassi di coinvolgimento degli utenti (engagement)

Se stai eseguendo un test A/B su un modulo in più passaggi, è disponibile un dettaglio dei tassi di coinvolgimento degli utenti per ogni passaggio del modulo, per variante, così puoi capire in quale punto chi visita il sito potrebbe abbandonare il modulo. Qui puoi analizzare:

• Tasso di coinvolgimento degli utenti fase 1
  Questa metrica riflette la percentuale di utenti che hanno coinvolto con la prima fase della variante del modulo d'iscrizione.
• Utenti che hanno completato tutti i passaggi
  Questa metrica riflette la percentuale di utenti coinvolti in ogni passaggio della variante del modulo d'iscrizione.

Sotto questi dati, trovi un grafico Tasso di completamento del passaggio per variante, così puoi visualizzare i tassi di coinvolgimento degli utenti per passaggio e confrontare i tassi tra le varianti del modulo nel test A/B.

Domande frequenti

Ho una notifica che indica che il mio test A/B con ritardo temporale calcola il tasso di invio del modulo in modo diverso. Perché?

Se stai testando un ritardo temporale sul tuo modulo, il tasso di invio del modulo verrà calcolato osservando le conversioni di utenti unici idonei a vedere il tuo modulo (Eligible unique views), invece del numero di visitatori unici che hanno effettivamente visualizzato il modulo.

Ad esempio, il tuo test A/B è equamente ponderato e include il messaggio "Hai bisogno di aiuto per navigare?" Nel test, 1 modulo viene mostrato immediatamente quando qualcuno visita il tuo sito e l'altro modulo viene caricato dopo un minuto. Anche se lo stesso numero di persone verrà messo in coda per vedere entrambi i moduli, più persone vedranno il modulo mostrato immediatamente. Anche se ci saranno meno persone che vedranno il modulo con ritardo, questo offre aiuto ad acquirenti confusi e quindi potrebbe comunque avere un tasso di invio del modulo più elevato. Per verificare se il ritardo del modulo porta a un tasso di invio più alto o più basso, il tasso di invio del modulo non sarà la quantità di invii come percentuale del numero di visualizzazioni, ma piuttosto la quantità di invii come percentuale del numero di persone che avrebbero potuto vedere il modulo.

Ho selezionato entrambe le caselle per la parte di selezione del vincitore del mio test A/B. Il test terminerà quando verranno soddisfatte entrambe le condizioni o anche solo una delle due?

Queste caselle di controllo funzionano come una condizione OR, il che significa che può essere soddisfatta una delle due condizioni e il test si interromperà. Non è necessario che siano soddisfatte entrambe le condizioni affinché il test si interrompa.

Posso modificare le impostazioni del test per il test A/B del mio modulo dopo che è già in esecuzione?

Sì. Apri i risultati del test A/B del modulo e seleziona Modifica test A/B per cambiare le impostazioni. Per modificare il contenuto del modulo, usa Modifica contenuto per creare una copia in bozza. Il test attuale rimarrà attivo finché non pubblichi il nuovo test.

Se qualcuno non interagisce con un modulo che fa parte di un test A/B, quando il modulo gli viene mostrato una seconda volta vedrà una versione diversa del modulo?

Klaviyo utilizza i dati del browser salvati per mostrare di nuovo la stessa variante durante il test. Chi visita il sito potrebbe vedere una variante diversa se questi dati vengono cancellati o non sono disponibili, ad esempio in una nuova sessione di navigazione in incognito.

Quando creo un test A/B per il mio modulo, il mio modulo passerà in modalità bozza?

Il modulo rimarrà nello stato in cui si trovava prima che creassi il test. Se era in modalità live e crei un test A/B, la versione attuale sarà live. Se era in bozza, il modulo sarà in modalità bozza.

Avevo un refuso nel mio test A/B del modulo, quindi ne ho pubblicato uno nuovo. Come posso eliminare definitivamente il test con il refuso?

L’eliminazione dei risultati dei test è permanente. Apri i risultati del test A/B del tuo modulo e seleziona il test completato dal menu a discesa dei test. Apri il menu a freccia accanto a Modifica dettagli, seleziona Elimina i risultati dei test, quindi seleziona Elimina test A/B per confermare.

Ho attivato il test A/B del mio modulo e poi mi sono accorto di avere fatto un errore di battitura. Non voglio interrompere il test, ricrearlo e rimetterlo online. Cosa posso fare?

1. Nei risultati del test A/B del modulo, seleziona Modifica test A/B, poi Modifica contenuto.
2. Inserisci un nome per il nuovo test e seleziona Continua.
3. Modifica il testo della bozza. Usa le lettere delle varianti nell'intestazione dell'editor per passare da una variante all'altra.
4. Seleziona Continua con le impostazioni di test nell’intestazione dell’editor per rivedere le impostazioni.
5. Seleziona Pubblica test A/B e conferma con Pubblica. Il test originale rimane attivo finché non pubblichi quello sostitutivo.

Una delle mie varianti del modulo sta ottenendo risultati molto scarsi e voglio aggiornare la quantità di traffico che va al modulo. Posso farlo?

Sì. Apri i risultati del test A/B del tuo modulo e seleziona Modifica test A/B. Attiva Imposta manualmente il traffico per modificare le percentuali oppure disattivalo per consentire a Klaviyo di adattare il traffico in base alle prestazioni.

Voglio testare se offerte diverse hanno maggiori probabilità di convertire. Come faccio ad assicurarmi di fornire una serie di benvenuto diversa correlata a ciascun modulo?

Puoi modificare l’elenco a cui una persona si iscrive per ogni variante. Per fare in modo che ogni variante invii a elenchi diversi, fai clic sul pulsante CTA nel modulo e modifica “List to Submit” nella sezione “Button click action”. Da lì, attiva il flusso della serie di benvenuto in base all’iscrizione di una persona all’elenco di ogni variante e fai follow-up con l’offerta associata.

Voglio monitorare chi invia ogni variante del modulo del test A/B. Come posso farlo?

Esistono 2 modi per identificare le persone che inviano ciascuna variante. Puoi modificare la lista a cui una persona si iscrive oppure aggiungere un campo nascosto al suo profilo quando invia il modulo. Questi metodi non identificano tutte le persone che visualizzano solo una variante. Per usare liste separate, seleziona il pulsante di invio di ogni variante e modifica Lista per inviare in Azione al clic del pulsante. Per usare un campo nascosto, aggiungi una proprietà in Invia campi nascosti e assegnale un valore diverso per ogni variante. Poi crea un segmento in base alla proprietà e al valore.

Risorse aggiuntive