Come eseguire un test A/B su un modulo d'iscrizione

Cosa imparerai

Scopri come usare il test A/B per valutare le prestazioni di vari elementi dei moduli d'iscrizione. Analizzando efficacemente i risultati, puoi assicurarti che i tuoi moduli siano in sintonia con chi visita il sito e contribuiscano alla crescita della lista.

Preparazione del test A/B

Prima di iniziare a creare il tuo test A/B, considera queste linee guida generali:

• Esegui il test di 1 variabile alla volta (ad es. un'offerta coupon)
  • Concentrati sulla modifica di una sola variabile (elemento) alla volta, ad esempio un coupon, per valutarne chiaramente l’impatto.
• Inizia con poco con varianti di test
  • Quando testi una variabile (ad es. un'offerta di coupon), inizia con 1 o 2 varianti per misurarne l'efficacia. Puoi aumentare la complessità nei test successivi man mano che raccogli più dati, ma non usarne più di 4.
• Evita modifiche durante il test
  • Non modificare le impostazioni del test mentre è attivo. Tieni presente che non puoi modificare le varianti del modulo una volta che un test è attivo; devi terminare il test per apportare questo tipo di modifiche, quindi verifica tutte le configurazioni in anticipo.
• Consenti una durata del test significativa
  • Attendi risultati statisticamente significativi o finché non hai un campione di visualizzatori sufficiente per terminare il test. Ricorda: più varianti richiedono più traffico per risultati affidabili.
• Comprendere la significatività statistica
  • Consulta in che modo la significatività statistica influisce sui risultati di un test A/B.

Cosa testare con un test A/B

Creazione di un test A/B

Creazione di un test

Esistono 2 modi diversi per creare un test A/B per il tuo modulo d'iscrizione:

• Nella scheda Modulo d'iscrizione, clicca sul menu a discesa con i 3 puntini accanto al modulo che vuoi testare e seleziona Crea test A/B.
• Apri l'editor del modulo per un modulo d'iscrizione che vuoi testare e seleziona Crea test A/B nell'angolo in alto.

A prescindere da dove accedi:

1. Seleziona Crea test A/B per iniziare.
   

2. Poi assegna al test un nome descrittivo. Se stai testando i colori dei pulsanti sul popup della newsletter, potresti chiamare il test Newsletter - Colore del pulsante Invia.
3. Dopo aver assegnato un nome al tuo test A/B, assegna alle varianti del tuo modulo d'iscrizione nomi diversi in modo da poterle distinguere.
   • Per impostazione predefinita, avrà il nome Copia n. di Nome del modulo. Con l’esempio precedente del pulsante di invio di colore diverso, potresti avere i tuoi moduli denominati Newsletter - Blu e Newsletter - Grigio.
   • Qui puoi anche aggiungere altre varianti selezionando il pulsante di copia. Puoi aggiungere fino a 7 varianti al tuo test A/B. Tieni presente che più varianti aggiungi, più a lungo dovrai eseguire il test. Un test A/B ideale dovrebbe avere tra due e quattro varianti. Nell'esempio qui sotto, ci sono tre varianti: il modulo originale e i 2 test aggiuntivi.
4. Dopo aver configurato il test, seleziona Crea test.
   

Configurazione delle varianti

Dopo aver creato il test, verrai reindirizzato all'editor del modulo d'iscrizione. Potrai passare da una variante all'altra del modulo selezionando il nome del modulo. Da questo menu puoi anche scegliere di modificare il nome della variante, creare un'altra variante o eliminare la variante.

Per trovare ispirazione, consulta la sezione Cosa sottoporre a test A/B.

Dopo aver terminato di configurare il modulo, seleziona Continua alle impostazioni di test.

Configurazione delle impostazioni del test A/B

Nella pagina delle impostazioni di test, qui verranno visualizzate le impostazioni personalizzabili del test. Valuta di personalizzare:

• Nomi delle varianti
• Selezione del traffico (peso)
• Selezione della variante vincente
• Note

Tieni presente che puoi anche raggiungere la pagina delle impostazioni del test selezionando il modulo nella pagina di visualizzazione elenco dei moduli d'iscrizione, quindi vai a Risultati test A/B > Modifica test.

Selezione del traffico

Da questa sezione puoi determinare quanta parte del traffico va alle varianti del tuo modulo. Per impostazione predefinita, ogni modulo verrà mostrato a un numero uguale di visualizzatori. Durante l’esecuzione del test, se una delle tue varianti supera le altre in termini di prestazioni, Klaviyo indirizzerà il traffico al modulo con prestazioni migliori mentre il test è ancora in corso.

Se attivi l'opzione Peso - Manuale, puoi specificare quanto traffico vuoi indirizzare a ogni variante del modulo. Gli importi devono arrivare al 100%.

Selezione della variante vincente

Come nella sezione di selezione del traffico, hai 2 opzioni per determinare come scegliere il vincitore del test. Puoi terminare il test automaticamente o manualmente.

• Automaticamente
  Se termini automaticamente il test, si concluderà quando c’è 1 variante che supera le altre a un livello statisticamente significativo o quando raggiunge una data specifica. Puoi anche selezionare entrambe le caselle e il test terminerà quando viene soddisfatta 1 delle condizioni. Ad esempio, se selezioni entrambe le condizioni e il modulo verrà eseguito solo per un mese, se il modulo ottiene risultati statisticamente significativi dopo una settimana, il test terminerà.
  • Se termini il test quando i risultati sono statisticamente significativi, il modello di data science di Klaviyo farà i calcoli per te e sceglierà un vincitore.
  • Se scegli di inviare il test in una data specifica, il test terminerà a mezzanotte ora universale coordinata (UTC).
• Manuale
  Se scegli di terminare il test manualmente (deseleziona entrambe le caselle), sceglierai sia il vincitore sia la data di fine del test.

Indipendentemente dalla selezione automatica che scegli, al termine del test il modulo vincitore sarà attivo sul tuo sito.

Seleziona Pubblica test A/B dopo aver terminato di modificare le impostazioni del test. Prima che il test sia in corso, Klaviyo verificherà se c’è un problema nella pubblicazione dei moduli sul tuo sito e se il tuo modulo ha tutti i contenuti di cui ha bisogno (ad es. testo per il consenso, CTA, campi di invio, ecc.).

Rivedi i risultati del test A/B

Mentre il test è in esecuzione o dopo aver completato il test A/B, puoi monitorare i dati nel tuo account. Vai a Moduli di iscrizione, quindi seleziona il modulo. Nella scheda Panoramica, puoi vedere le prestazioni complessive del modulo. Seleziona la scheda Risultati del test A/B per approfondire le analisi specifiche del test A/B.

Da qui puoi anche modificare le impostazioni del test A/B. Per farlo, seleziona Modifica test A/B nell'angolo in alto a destra della scheda dei risultati del test A/B. Qui potrai modificare le impostazioni del test (ad es. nome, peso della variante, impostazioni di selezione del vincitore).

Non potrai modificare il contenuto dei moduli di test mentre il test è in corso. Per modificare il contenuto, fai clic su Modifica contenuto per terminare il test, clona un nuovo test da modificare e ricomincia.

Panoramica del test

In Panoramica, riceverai un'istantanea delle prestazioni del tuo test. Puoi usare il menu a discesa nell'angolo in alto a sinistra per passare da una variante all'altra nel tuo test A/B. Le metriche mostrate nella Panoramica includono:

• Probabilità di vincita
  La probabilità di vincita viene visualizzata nella scheda in alto a sinistra. Questa percentuale indica la probabilità che la variante attualmente vincente sia il vincitore statisticamente significativo. Man mano che il test ottiene più visualizzazioni e rimane attivo per un periodo di tempo più lungo, dovresti vedere aumentare questo numero. Saprai quando i risultati del test diventano statisticamente significativi dall’etichetta sotto la probabilità di vincita. Se stai visualizzando un test completato, ci sarà anche un motivo che indica perché il test è terminato (ad esempio, terminato manualmente scegliendo un vincitore).
• Data di inizio e Data di fine
  La data di inizio e la data di fine del test sono indicate nella scheda in alto a destra. Se non hai impostato una data di fine, questo campo sarà vuoto. Se il test è completato, vedrai la data in cui è stato selezionato il vincitore.

Sotto queste schede vengono visualizzati i dati grezzi di ogni variante del modulo nel tuo test. Accanto a ciascuna variante, puoi vedere una ripartizione delle seguenti metriche per variante:

• Peso attuale
  Questa metrica riflette il peso attuale del traffico indirizzato a ciascun modulo. Se hai selezionato manualmente quanto traffico va a ciascun modulo, questi numeri saranno coerenti con le impostazioni che hai selezionato quando hai avviato il test. Se utilizzi il modello di data science di Klaviyo, vedrai che il peso del traffico cambia nel tempo, assegnando più traffico al modulo che sta vincendo e consentendoti di ottenere più iscritti mentre esegui il test.
• Ordini
  Il numero di ordini effettuati attribuiti a questo modulo.
• Valore medio dell'ordine (valore medio dell'ordine)
  Il fatturato del negozio associato a questo modulo diviso per il numero di ordini associati al modulo.
• Ricavi
  La somma degli ordini effettuati ($) avvenuti dopo l'invio di un modulo entro la finestra di lookback.
  

• Visualizzazioni uniche
  Il numero di utenti unici che hanno visualizzato una variante del modulo d'iscrizione (ad esempio se 1 visitatore del sito visualizza il tuo modulo due volte, conta come 1 visualizzazione).
• Invii univoci
  Il numero di utenti univoci che inviano una variante del modulo d'iscrizione o cliccano su un pulsante "Vai all'URL" (ad es. se 1 visitatore del sito invia il tuo modulo due volte, viene conteggiato come 1 invio). Se il modulo ha sia un pulsante di invio sia un pulsante "Vai all'URL", l'evento verrà conteggiato solo quando qualcuno invia il modulo.
• Tasso di invio
  Il valore del modulo Invii unici diviso per il numero di Visualizzazioni uniche. Poiché questo tasso utilizza metriche uniche, sarà diverso dal Tasso di invio nella scheda Panoramica, che usa i totali.

Grafico del tasso di invio del modulo

Sotto i dati grezzi trovi un grafico delle varianti, che mostra il tasso di invio del modulo per variante durante l’intera durata del test A/B. Se ti interessa una data specifica, passa il mouse sui punti dati per maggiori informazioni.

Tassi di coinvolgimento degli utenti (engagement)

Se stai eseguendo un test A/B su un modulo in più passaggi, è disponibile una suddivisione dei tassi di coinvolgimento degli utenti per ogni passaggio del modulo, per variante, così puoi capire in quale punto le persone che visitano il sito potrebbero abbandonare il modulo. Qui puoi analizzare:

• Tasso di coinvolgimento degli utenti fase 1
  Questa metrica riflette la percentuale di utenti che hanno coinvolto con la prima fase della variante del modulo d'iscrizione.
• Utenti che hanno completato tutti i passaggi
  Questa metrica riflette la percentuale di utenti coinvolti in ogni passaggio della variante del modulo d'iscrizione.

Sotto questi dati, c’è un grafico del tasso di completamento del passaggio per variante, così puoi visualizzare i tassi di coinvolgimento degli utenti per passaggio e confrontare i tassi tra le varianti del modulo nel test A/B.

Domande frequenti

Ho una notifica che indica che il mio modulo con un test A/B con ritardo temporale sta calcolando il tasso di invio del modulo in modo diverso. Perché?

Se stai testando un ritardo temporale sul tuo modulo, il tasso di invio del modulo verrà calcolato esaminando le conversioni di utenti unici idonei a vedere il modulo (Visualizzazioni uniche idonee), anziché il numero di visualizzazioni totali del modulo.

Ad esempio, il tuo test A/B è equamente ponderato e include il messaggio "Hai bisogno di aiuto per navigare?" Nel test, 1 modulo viene mostrato immediatamente quando qualcuno visita il tuo sito e l'altro modulo viene caricato dopo un minuto. Anche se lo stesso numero di persone verrà messo in coda per vedere entrambi i moduli, più persone vedranno il modulo mostrato immediatamente. Anche se ci saranno meno persone che vedranno il modulo con ritardo, questo offre aiuto ad acquirenti confusi e quindi potrebbe comunque avere un tasso di invio del modulo più elevato. Per verificare se il ritardo del modulo porta a un tasso di invio più alto o più basso, il tasso di invio del modulo non sarà la quantità di invii come percentuale del numero di visualizzazioni, ma piuttosto la quantità di invii come percentuale del numero di persone che avrebbero potuto vedere il modulo.

Ho selezionato entrambe le caselle per la sezione Selezione del vincitore del mio test A/B. Il test terminerà quando saranno soddisfatte entrambe o una sola delle condizioni?

Queste caselle di controllo funzionano come una condizione OR, il che significa che può essere soddisfatta una delle due condizioni e il test si interromperà. Non è necessario che siano soddisfatte entrambe le condizioni affinché il test si interrompa.

Posso modificare le impostazioni del test per il test A/B del mio modulo dopo che è già in esecuzione?

Sì, apri il tuo test A/B dal tuo modulo e seleziona Modifica test A/B per cambiare le impostazioni. Tuttavia, non potrai cambiare il contenuto dei moduli senza terminare il test attuale e avviarne uno nuovo.

Se qualcuno non interagisce con un modulo che fa parte di un test A/B, quando il modulo gli viene mostrato una seconda volta vedrà una versione diversa del modulo?

No, i cookie verranno impostati alla prima visualizzazione del modulo e vedranno sempre e solo quella variante, a meno che non cancellino i cookie o non navighino in un browser anonimo.

Quando creo un test A/B per il mio modulo, il mio modulo passerà in modalità bozza?

Il modulo rimarrà nello stato in cui si trovava prima che creassi il test. Se era in modalità live e crei un test A/B, la versione attuale sarà live. Se era in bozza, il modulo sarà in modalità bozza.

Avevo un refuso nel mio test A/B del modulo, quindi ne ho pubblicato uno nuovo. Come posso eliminare definitivamente il test con il refuso?

Vai ai risultati del test di cui vuoi sbarazzarti selezionando il modulo e andando su Impostazioni test A/B, quindi scegli Elimina test.

Ho attivato il test A/B del mio modulo e poi mi sono accorto di avere fatto un errore di battitura. Non voglio interrompere il test, ricrearlo e rimetterlo online. Cosa posso fare?

Vai alla pagina Impostazioni test A/B mentre il test è in esecuzione facendo clic su Modifica test A/B nell'analisi del modulo e fai clic su Modifica contenuto. Questo creerà una nuova bozza del test A/B e potrai apportare modifiche in base alle esigenze, quindi pubblicarlo facendo clic su Pubblica test A/B.

Una delle mie varianti del modulo sta ottenendo risultati molto scarsi e voglio aggiornare la quantità di traffico che va al modulo. Posso farlo?

Sì. Fai clic sul tuo modulo e vai alle impostazioni del test A/B per il tuo modulo specifico. Seleziona Modifica test A/B e modifica la ponderazione oppure attiva le ponderazioni automatiche, in cui il modello terrà conto delle prestazioni.

Voglio testare se offerte diverse hanno maggiori probabilità di convertire. Come faccio ad assicurarmi di fornire una serie di benvenuto diversa correlata a ciascun modulo?

Puoi modificare l'elenco a cui una persona si sta iscrivendo per ogni variante. Per fare in modo che ogni variante vada a elenchi diversi, fai clic sul pulsante CTA nel modulo e modifica Elenco a cui iscriversi nella sezione Azione al clic sul pulsante. Da qui, attiva il flusso della serie di benvenuto in base all'iscrizione di qualcuno all'elenco di ciascuna variante e fai follow-up con l'offerta associata.

Voglio monitorare chi vede ogni variante del modulo del test A/B. Come posso farlo?

Puoi farlo in 2 modi. Puoi modificare l’elenco a cui una persona si sta iscrivendo oppure puoi aggiungere un campo nascosto che viene inviato quando qualcuno fa clic sul tuo modulo. Se vuoi che le diverse varianti vadano a elenchi diversi, seleziona il pulsante e modifica l’impostazione Elenco a cui iscriversi nella sezione azione al clic del pulsante. Se vuoi inviare tramite un campo nascosto, aggiungi una proprietà nella sezione Invia campi nascosti. Quindi, crea un segmento basato su ciascuna proprietà.

Risorse aggiuntive