Come fare il test A/B di un modulo di iscrizione

Imparerai

Impari a utilizzare il test A/B per valutare le prestazioni di vari elementi del suo modulo d'iscrizione. Analizzando efficacemente i risultati, può assicurarsi che i suoi moduli risuonino con i visitatori del sito e contribuiscano all'elenco crescita. 

Preparazione del test A/B

Prima di iniziare a creare il suo test A/B, consideri queste linee guida generali:

• Testare 1 variabile alla volta (ad esempio, l'offerta di un coupon).
  • Si concentri sulla modifica di una singola variabile (elemento) alla volta, come un coupon, per valutare chiaramente il suo impatto.
• Iniziare in piccolo con una variante di prova
  • Quando testa una variabile (ad esempio, l'offerta coupon ), inizi con una o due varianti per misurare l'efficacia. Può aumentare la complessità nei test successivi, man mano che raccoglie più dati, ma non usi più di 4.
• Evitare cambiamenti a metà test
  • Non modifichi le impostazioni del test mentre è in funzione. Si noti che non è possibile modificare le stesse varianti del modulo una volta che il test è attivo; deve terminare il test per apportare questo tipo di modifiche, quindi confermi tutte le configurazioni in anticipo. 
• Consentire una durata sostanziale del test
  • Attenda i risultati statisticamente significativi o finché non avrà un campione sufficiente di spettatori per concludere il test. Si ricordi che più varianti richiedono più traffico per ottenere risultati affidabili. 
• Capire la significatività statistica
  • Familiarizzare con l'impatto della significatività statistica sui risultati di un test A/B.

Cosa testare con A/B

Creare un test A/B

Creare un test

Ci sono due modi diversi per creare un test A/B per il suo modulo di iscrizione:

• Nella scheda Modulo d'iscrizione, clicchi sul menu a tendina con 3 puntini accanto al modulo che desidera testare e selezioni Crea test A/B.
• Apra l'editor di moduli per un modulo di iscrizione che desidera testare e selezioni Crea test A/B nell'angolo superiore. 

Non importa da dove si entra:

1. Selezioni Crea test A/B per iniziare.
   
2. Poi, dia al suo test un nome descrittivo. Se sta testando i colori dei pulsanti del popup della sua newsletter, potrebbe nominare il test Newsletter - Colore del pulsante di invio.
3. Dopo aver dato un nome al suo test A/B, dia al suo modulo di iscrizione variazioni di nome diverse, selezionando l'icona della matita accanto al nome attuale del modulo.
   • Per impostazione predefinita, verrà fornito con il nome Copia # di Nome del modulo. Con l'esempio del pulsante di invio di colore diverso di prima, potrebbe avere i suoi moduli denominati Newsletter - Blu e Newsletter - Grigio.
   • Qui può anche aggiungere fino a 7 varianti al suo test A/B. Tenga presente che più variazioni aggiunge, più tempo avrà bisogno di eseguire il test. Un test A/B ideale prevede da due a quattro varianti. Nell'esempio seguente, ci sono tre varianti: il modulo originale e i 2 test aggiuntivi.
4. Dopo aver configurato il suo test, selezioni Crea test.

Configurazione delle variazioni

Dopo aver creato il suo test, verrà indirizzato nuovamente all'editor del modulo di iscrizione. Potrà passare tra le diverse varianti del suo modulo selezionando il nome del modulo. Da questo menu, può anche scegliere di cambiare il nome della variazione, creare una variazione aggiuntiva o eliminare la variazione.

Consulti la sezione Cosa testare A/B per trovare ispirazione.

Una volta terminata la configurazione del suo modulo, selezioni Continua a testare le impostazioni.

Configurazione delle impostazioni del test A/B

Può raggiungere la pagina delle impostazioni del test in due modi diversi. Può:

• Clicchi sul pulsante Continua a testare le impostazioni dall'editor del modulo di iscrizione.
• Selezioni il suo modulo nella pagina dei moduli di iscrizione, quindi si rechi su Risultati del test A/B > Modifica il test. Le impostazioni personalizzabili del suo test appariranno qui. Consideri la possibilità di personalizzare:
  • Nomi delle varianti
  • Selezione del traffico (Peso)
  • Selezione del vincitore
  • Note

Selezione del traffico

Da questa sezione, può determinare quanto traffico arriva alle varianti del suo modulo. Per impostazione predefinita, ogni modulo apparirà a un numero uguale di spettatori. Durante l'esecuzione del test, se una delle sue varianti supera le altre, Klaviyo indirizzerà il traffico verso la forma più performante mentre il test è ancora in corso.

Se seleziona Peso - Manuale, può specificare la quantità di traffico che desidera che sia destinata a ciascuna variante del modulo. Gli importi devono essere sommati al 100%.

Selezione del vincitore

Analogamente alla sezione di selezione del traffico, ha 2 opzioni per determinare come scegliere il vincitore del test. Può terminare il test automaticamente o manualmente.

• Automaticamente
  Se termina automaticamente il suo test, questo terminerà quando c'è 1 variazione che supera le altre a un livello statisticamente significativo o quando raggiunge una data particolare. Può anche selezionare entrambe le caselle e il test terminerà quando una delle condizioni sarà soddisfatta. Per esempio, se ha selezionato entrambe le condizioni e il suo modulo funzionerà solo per un mese, se il modulo ha risultati statisticamente significativi dopo una settimana, il test terminerà.
  • Se termina il test quando i risultati sono statisticamente significativi da soli, il modello di scienza dei dati di Klaviyo farà i conti per lei e sceglierà un vincitore.
  • Se sceglie di inviare il test in una data particolare, il test terminerà alla mezzanotte del tempo universale coordinato (UTC).
• Manualmente
  Se sceglie di terminare il test manualmente (deselezionando entrambe le caselle), sceglierà sia il vincitore che la data di conclusione del test. 

Indipendentemente dalla selezione automatica che sceglierà, al termine del test, il modulo vincitore sarà attivo sul suo sito.

Selezioni Pubblica test A/B una volta terminata la modifica delle impostazioni del test. Prima di iniziare il test, Klaviyo verificherà se c'è un problema nella pubblicazione dei moduli sul suo sito e se il modulo ha tutti i contenuti necessari (ad esempio, la lingua del consenso, la CTA, i campi di invio, ecc.)

Esaminare i risultati del test A/B

Mentre il test è in corso o dopo aver completato il test A/B, può monitorare i dati nel suo account. Vada su Moduli di iscrizione, quindi selezioni il suo modulo. Nella scheda Panoramica, può vedere come il suo modulo sta funzionando in generale. Selezioni la scheda Risultati del test A/B per approfondire le analisi del suo test A/B in particolare.

Da qui può anche modificare le impostazioni del suo test A/B. Per farlo, selezioni Modifica test A/B nell'angolo in alto a destra della scheda dei risultati del test A/B. Qui potrà modificare le impostazioni del test (ad esempio, nome, peso della variazione, impostazioni di selezione del vincitore).

Non potrà modificare il contenuto dei moduli di test mentre il test è in corso. Per modificare il contenuto, clicchi su Modifica contenuto per terminare il test, clonare un nuovo test da modificare e ricominciare. 

Panoramica del test

Nella sezione Panoramica, otterrà un'istantanea dell'andamento del suo test. Può utilizzare il menu a tendina nell'angolo in alto a sinistra per alternare le diverse varianti nel suo test A/B. Le metriche mostrate nella Panoramica includono: 

• Probabilità di vincita
  La probabilità di vincita viene visualizzata nella scheda in alto a sinistra. Questa percentuale indica la probabilità che la variante attuale che sta vincendo sia la vincitrice statisticamente significativa. Man mano che il suo test ottiene più spettatori e rimane attivo per un periodo di tempo più lungo, dovrebbe vedere questo numero aumentare. Saprà quando i risultati del test diventano statisticamente significativi dall'etichetta sotto la probabilità di vincita. Se sta visualizzando un test completato, ci sarà anche un motivo che indica il motivo per cui il test è terminato (ad esempio, si è concluso manualmente con la scelta di un vincitore).
• Data di inizio e data di fine
  La data di inizio e di fine del test sono elencate nella scheda in alto a destra. Se non ha impostato una data di fine, questo punto sarà lasciato vuoto. Se il test è stato completato, vedrà la data di selezione del vincitore.

  Per interrompere manualmente il test e scegliere un vincitore in qualsiasi momento, selezioni Scegli il vincitore.Se seleziona questo pulsante in qualsiasi momento, avrà la possibilità di terminare il test e di impostare la variazione della forma vincente in modalità live o draft.

Sotto queste schede, vengono visualizzati i dati grezzi di ogni variazione di forma del suo test. Accanto a ciascuna variante, può vedere una ripartizione delle seguenti metriche per variante:

• Peso attuale
  Questa metrica riflette il peso attuale del traffico diretto a ciascun modulo. Se ha selezionato manualmente la quantità di traffico che arriva a ciascun modulo, questi numeri saranno coerenti con le impostazioni selezionate all'avvio del test. Se utilizza il modello di scienza dei dati di Klaviyo, vedrà il peso del traffico cambiare nel tempo, dando più traffico al modulo che sta vincendo e permettendole di ottenere più abbonati durante il test.
• Ordini
  Il numero di ordini effettuati attribuiti a questo modulo.
• Valore medio dell'ordine(AOV)
  Il fatturato del negozio associato a questo modulo diviso per il numero di ordini associati al modulo.
• Entrate
  La somma degli ordini effettuati ($) che si sono verificati dopo l'invio di un modulo all'interno della finestra di lookback.
  

  Per saperne di più su come le entrate sono collegate al modulo d'iscrizione, veda Comprendere la metrica delle entrate per i moduli.

• Visualizzazioni uniche
  Il numero di utenti unici che hanno visualizzato una variazione del modulo di iscrizione (ad esempio, se 1 visitatore del sito visualizza il suo modulo due volte, conta come 1 visualizzazione).
• Invii unici
  Il numero di utenti unici che inviano un modulo d'iscrizione variante o cliccano su un pulsante "Vai all'URL" (ad esempio, se 1 visitatore del sito invia il suo modulo due volte, conta come 1 invio). Se il modulo ha sia un pulsante di invio che un pulsante "Vai all'URL", conterà solo l'evento quando qualcuno invia il modulo.
• Tasso di invio
  Il valore unico del modulo inviatodiviso per il numero di visualizzazioni uniche. Poiché questo tasso utilizza metriche uniche, sarà diverso dal tasso di Invio della scheda Panoramica, che utilizza i totali. 

Grafico del tasso di invio del modulo

Sotto i dati grezzi c'è un grafico delle sue variazioni, che mostra il tasso di invio del modulo in base alla variazione per tutta la durata del test A/B. Se è interessato a una data particolare, passi il mouse sui punti dati per ottenere maggiori informazioni.

Tassi di coinvolgimento

Se sta eseguendo un test A/B su un modulo a più fasi, c'è una ripartizione dei tassi di coinvolgimento per le fasi del modulo per ogni variante, in modo da poter capire dove i visitatori del sito potrebbero abbandonare il modulo. Qui può analizzare:

• Tasso di coinvolgimento del passo 1
  Questa metrica riflette la percentuale di utenti che si sono impegnati nel primo passo della variante del modulo di iscrizione.
• Utenti che hanno completato tutti i passaggi
  Questa metrica riflette la percentuale di utenti che si sono impegnati in tutti i passaggi della variante del modulo di iscrizione. 

Al di sotto di questi dati, c'è un grafico del tasso di completamento del passo per variazione, in modo da poter visualizzare i tassi di coinvolgimento per passo e confrontare i tassi tra le variazioni del modulo nel test A/B.

Domande frequenti

Ho ricevuto una notifica che indica che il mio modulo che ha un test A/B con ritardo temporale sta calcolando il tasso di invio del modulo in modo diverso. Perché?

Se sta testando un ritardo temporale sul suo modulo, il tasso di invio del modulo sarà calcolato osservando le conversioni degli utenti unici idonei a vedere il suo modulo(visualizzazioni uniche ammissibili), piuttosto che il numero di visualizzazioni totali del modulo.

Supponiamo, ad esempio, che il suo test A/B abbia un peso uniforme e il messaggio "Ha bisogno di aiuto per navigare?". Nel test, un modulo viene visualizzato immediatamente quando qualcuno visita il suo sito, mentre l'altro modulo viene caricato dopo un minuto. Mentre lo stesso numero di persone sarà in coda per vedere entrambi i moduli, un numero maggiore di persone vedrà il modulo che viene visualizzato immediatamente. Anche se non ci saranno tante persone che vedranno il modulo con il ritardo, offre un aiuto agli acquirenti confusi e quindi potrebbe avere un tasso di invio del modulo maggiore. Per verificare se il ritardo del modulo porta a un tasso di invio più alto o più basso, il tasso di invio del modulo non sarà la quantità di invii come percentuale del numero di visualizzazioni, ma piuttosto la quantità di invii come percentuale del numero di persone che avrebbero potuto vedere il modulo.

Ho selezionato entrambe le caselle per la parte di selezione dei vincitori del mio test A/B. Il test terminerà quando entrambe o una delle condizioni saranno soddisfatte?

Queste caselle di controllo funzionano come una condizione OR, il che significa che una delle due condizioni può essere soddisfatta e il test si interrompe. Non è necessario che entrambe le condizioni siano soddisfatte perché il test si interrompa.

Posso modificare le impostazioni del test del mio modulo A/B dopo che è già in corso?

Sì, clicchi sul suo test A/B dal modulo e selezioni Modifica test A/B per modificare le impostazioni. Tuttavia, non potrà modificare il contenuto dei moduli senza terminare il test in corso e iniziarne uno nuovo.

Se qualcuno non si impegna con un modulo che fa parte di un test A/B, quando il modulo gli viene mostrato una seconda volta, vedrà una versione diversa del modulo?

No, saranno sottoposti a un cookie al momento della prima visualizzazione del modulo e vedranno sempre e solo quella variazione, a meno che non cancellino i loro cookie o stiano navigando con un browser anonimo.

Quando creo un test A/B per il mio modulo, il mio modulo passa in modalità bozza?

Il modulo rimarrà nello stato in cui si trovava il suo modulo prima di creare il test. Se era in modalità live e crea un test A/B, la versione attuale sarà live. Se era in bozza, il modulo sarà in modalità bozza.

Ho avuto un errore di battitura nel mio test A/B del modulo, quindi ne ho pubblicato uno nuovo. Come posso eliminare definitivamente il test con un errore di battitura?

Vada ai risultati del test di cui vuole sbarazzarsi, selezionando il modulo e andando su Impostazioni del test A/B, quindi scelga Elimina test.

Ho impostato il test A/B del mio modulo in diretta, poi mi sono reso conto di aver commesso un errore di battitura. Non voglio interrompere il test, ricostruirlo e rimetterlo in funzione. Cosa devo fare?

Si rechi alla pagina delle impostazioni del test A/B mentre il test è in corso, cliccando su Modifica test A/B dall'analisi del modulo e cliccando su Modifica contenuto. In questo modo verrà creata una nuova bozza di test A/B, alla quale potrà apportare le modifiche necessarie, per poi renderla operativa cliccando su Pubblica test A/B.

Una delle mie varianti di modulo ha un rendimento molto basso e voglio aggiornare la quantità di traffico che arriva al modulo. Posso farlo?

Si. Clicchi sul suo modulo e vada alle impostazioni del test A/B per il suo modulo specifico. Selezioni Modifica test A/B e modifichi la ponderazione o passi alla ponderazione automatica, dove il modello terrà conto delle prestazioni.

Voglio fare un test per vedere se diverse offerte hanno maggiori probabilità di conversione. Come posso assicurarmi di dare una serie di benvenuto diversa correlata a ciascun modulo?

Può regolare l'elenco a cui una persona si sottopone per ogni variante. Per fare in modo che ogni variante vada a liste diverse, clicchi sul suo pulsante CTA nel modulo e cambi la lista in Invia nella sezione Azione del clic del pulsante. Da lì, inneschi il flusso della sua serie di benvenuto in base a chi si iscrive alla lista di ogni variante e segua l'offerta associata.

Voglio monitorare chi vede ogni variante di modulo del test A/B. Come posso farlo?

Ci sono due modi per farlo. Può modificare l'elenco a cui una persona si sta inviando o può aggiungere un campo nascosto che viene inviato quando qualcuno clicca sul suo modulo. Se vuole che le diverse varianti vadano a elenchi diversi, selezioni il pulsante e modifichi l'impostazione Elenco da inviare nella sezione Azione del clic del pulsante. Se desidera effettuare l'invio attraverso un campo nascosto, deve aggiungere una proprietà nella sezione Invia campi nascosti. Poi, crea un segmento basato su ogni proprietà.

Risorse aggiuntive

• Le migliori pratiche per i test A/B di riferimento
• Corso: Come creare una strategia di acquisizione efficace utilizzando i moduli di iscrizione
• Come iniziare a usare i moduli di iscrizione
• Corso: Certificato di prodotto Klaviyo