Como fazer um teste A/B em um formulário de registro

O que você vai aprender

Aprenda a usar Testes A/B para avaliar o desempenho de vários elementos dos seus formulários de registro. Ao analisar os resultados de forma eficaz, você pode garantir que seus formulários repercutam junto aos visitantes do site e contribuam para o crescimento da lista.

Como se preparar para seu teste A/B

Antes de começar a criar seu teste A/B, considere estas diretrizes gerais:

• Teste 1 variável por vez (por exemplo, oferta de cupom)
  • Concentre-se em alterar uma única variável (elemento) por vez, como um cupom, para avaliar claramente o impacto dela.
• Comece com pouco, com variantes de teste
  • Ao testar uma variável (por exemplo, uma oferta de cupom), comece com 1 ou 2 variantes para medir a eficácia. Você pode aumentar a complexidade em testes posteriores conforme coleta mais dados, mas não use mais de 4.
• Evite mudanças no meio do teste
  • Não altere as configurações do teste enquanto ele estiver ativo. Observe que você não pode editar as variantes do formulário em si quando um teste está ativo; você deve encerrar o teste para fazer esse tipo de alteração, então confirme todas as configurações antes.
• Permita uma duração de teste substancial
  • Aguarde resultados estatisticamente significativos ou até ter um tamanho de amostra suficiente de espectadores para encerrar o teste. Lembre-se: quanto mais variantes, mais tráfego você vai precisar para ter resultados confiáveis.
• Entenda a significância estatística
  • Familiarize-se com como a significância estatística afeta os resultados de um teste A/B.

O que testar em um teste A/B

Criar um teste A/B

Criar um teste

Há 2 maneiras diferentes de criar um teste A/B para seu formulário de registro:

• Na guia Formulário de registro, clique no menu suspenso de 3 pontos ao lado do formulário que você gostaria de testar e selecione Criar teste A/B.
• Abra o editor de formulários de um formulário de registro que você gostaria de testar e selecione Criar teste A/B no canto superior.

Não importa por onde você entrar:

1. Selecione Criar teste A/B para começar.
   

2. Em seguida, dê um nome descritivo ao seu teste. Se você estiver testando as cores dos botões no seu popup de newsletter, pode nomear o teste como Newsletter - Cor do botão Enviar.
3. Depois de nomear seu teste A/B, dê às variantes do seu formulário de registro nomes diferentes para que você consiga diferenciá-las.
   • Por padrão, ele virá com o nome Cópia nº de Nome do formulário. Com o exemplo anterior de botão de envio em uma cor diferente, você pode ter seus formulários chamados Newsletter - Azul e Newsletter - Cinza.
   • Aqui, você também pode adicionar mais variantes selecionando o botão de copiar. Você pode adicionar até 7 variantes ao seu teste A/B. Lembre-se: quanto mais variantes você adicionar, mais tempo será necessário para executar o teste. Um teste A/B ideal teria entre duas e quatro variantes. No exemplo abaixo, há três variantes: o formulário original e os 2 testes adicionais.
4. Depois de configurar seu teste, selecione Criar teste.
   

Configurando as variantes

Depois de criar seu teste, você será direcionado(a) de volta ao editor do formulário de registro. Você poderá alternar entre as diferentes variante do seu formulário selecionando o nome do formulário. Neste menu, você também pode optar por alterar o nome da variante, criar uma variante adicional ou excluir a variante.

Confira a seção O que testar em testes A/B para se inspirar.

Depois de concluir a configuração do seu formulário, selecione Continuar para testar as configurações.

Como configurar as configurações de teste A/B

Na página de configurações de teste, as configurações personalizáveis do seu teste aparecerão aqui. Considere personalizar:

• Nomes de variantes
• Seleção de tráfego (peso)
• Seleção vencedora
• Observações

Observe que você também pode acessar a página de configurações de teste selecionando seu formulário na página de visualização de lista de formulário de registro e, em seguida, vá para Resultados do teste A/B > Editar teste.

Seleção de tráfego

Nesta seção, você pode determinar quanto tráfego vai para as variantes do seu formulário. Por padrão, cada formulário aparecerá para uma quantidade igual de visualizadores. Conforme seu teste é executado, se uma das suas variantes estiver tendo um desempenho melhor do que as outras, a Klaviyo direcionará o tráfego para o formulário com melhor desempenho enquanto o teste ainda estiver em execução.

Se você alternar para selecionar Peso – manual, poderá especificar quanto tráfego você quer direcionar para cada variante do formulário. Os valores precisam somar 100%.

Seleção vencedora

Assim como na seção de seleção de tráfego, você tem 2 opções para determinar como escolher o vencedor do teste. Você pode encerrar o teste automaticamente ou manualmente.

• Automaticamente
  Se você encerrar o teste automaticamente, ele será encerrado quando houver 1 variante que superar a(s) outra(s) em um nível estatisticamente significativo ou quando atingir uma data específica. Você também pode selecionar as duas caixas, e o teste será encerrado quando 1 das condições for atendida. Por exemplo, se você tiver ambas as condições selecionadas e seu formulário for executado apenas por um mês, se o formulário tiver resultados estatisticamente significativos após uma semana, o teste será encerrado.
  • Se você encerrar seu teste quando apenas os resultados forem estatisticamente significativos, o modelo de ciência de dados do Klaviyo fará os cálculos para você e escolherá um vencedor.
  • Se você optar por enviar o teste em uma data específica, o teste terminará à meia-noite no horário universal coordenado (UTC).
• Manual
  Se você optar por encerrar o teste manualmente (desmarque as duas caixas), você vai escolher tanto o vencedor quanto a data em que o teste termina.

Independentemente de qual seleção automática você escolher, após o teste terminar, o formulário vencedor ficará ativo no seu site.

Selecione Publicar teste A/B depois de terminar de editar as configurações do teste. Antes de o teste começar, a Klaviyo verificará se há algum problema ao publicar formulários no seu site e se o formulário tem todo o conteúdo necessário (por exemplo, texto de consentimento, CTA, campos de envio etc.).

Revisar resultados do teste A/B

Enquanto o teste estiver em execução ou depois que você concluir seu teste A/B, você pode monitorar os dados na sua conta. Acesse formulário de registro e selecione seu formulário. Na guia Visão geral, você pode ver o desempenho geral do seu formulário. Selecione a guia Resultados do teste A/B para se aprofundar nas análises do seu teste A/B especificamente.

A partir daqui, você também pode editar as configurações do seu teste A/B. Para fazer isso, selecione Editar teste A/B no canto superior direito da aba de resultados do teste A/B. Aqui, você poderá editar as configurações do teste (ou seja, nome, peso da variante, configurações de seleção do vencedor).

Você não poderá alterar o conteúdo dos formulários de teste enquanto o teste estiver em andamento. Para editar o conteúdo, clique em Editar conteúdo para encerrar o teste, clone um novo teste para editar e comece novamente.

Visão geral do teste

Em Visão geral, você verá um panorama de como seu teste está se saindo. Você pode usar o menu suspenso no canto superior esquerdo para alternar entre as diferentes variantes no seu teste A/B. As métricas exibidas em Visão geral incluem:

• Probabilidade de vitória
  A probabilidade de vitória é exibida no cartão no canto superior esquerdo. Esse percentual indica a probabilidade de a variante atual que está vencendo ser a vencedora estatisticamente significativa. À medida que seu teste ganha mais visualizações e fica no ar por mais tempo, você deve ver esse número aumentar. Você saberá quando os resultados do teste se tornarem estatisticamente significativos pela etiqueta abaixo da probabilidade de vitória. Se você estiver visualizando um teste concluído, também haverá um motivo informando por que o teste terminou (por exemplo, encerrado manualmente ao escolher um vencedor).
• Data de início e Data de término
  As datas de início e término do teste estão listadas no cartão no canto superior direito. Se você não definiu uma data de término, isso ficará em branco. Se o teste estiver concluído, você verá a data em que o vencedor foi selecionado.

Abaixo desses cartões, os dados brutos de cada variante do formulário no seu teste são exibidos. Ao lado de cada variante, você pode ver um detalhamento das seguintes métricas por variante:

• Peso atual
  Esta métrica reflete o peso atual do tráfego direcionado para cada formulário. Se você selecionou manualmente quanto tráfego vai para cada formulário, esses números serão consistentes com as configurações que você selecionou quando iniciou o teste. Se você estiver usando o modelo de ciência de dados do Klaviyo, verá o peso do tráfego mudando ao longo do tempo, direcionando mais tráfego para o formulário que estiver ganhando e permitindo que você obtenha mais assinantes conforme executa o teste.
• Pedidos
  O número de pedidos feitos atribuídos a este formulário.
• Valor médio de pedido (Valor médio de pedido)
  A receita da loja associada a este formulário dividida pelo número de pedidos associados ao formulário.
• Receita
  A soma dos pedidos feitos ($) que ocorreram após o envio de um formulário dentro da janela de lookback.
  

• Visualizações únicas
  O número de usuários únicos que visualizaram uma variante do formulário de registro (por exemplo, se 1 visitante do site visualizar seu formulário duas vezes, conta como 1 visualização).
• Envios únicos
  O número de usuários únicos que enviam uma variante de formulário de registro ou clicam em um botão "Ir para URL" (por exemplo, se 1 visitante do site enviar seu formulário duas vezes, isso conta como 1 envio). Se o formulário tiver um botão de enviar e um botão de “Ir para URL”, ele só vai contabilizar o evento quando alguém enviar o formulário.
• Taxa de envio
  O valor do formulário Envios únicos dividido pelo número de Visualizações únicas. Como essa taxa usa métricas únicas, ela será diferente da Taxa de envio na aba Visão geral, que usa totais.

Gráfico de taxa de envio de formulários

Abaixo dos dados brutos há um gráfico das suas variantes, mostrando a taxa de envio de formulários por variante ao longo da duração do teste A/B. Se você tiver interesse em uma data específica, passe o mouse sobre os pontos de dados para mais informações.

Taxas de engajamento

Se você estiver executando um teste A/B em um formulário de várias etapas, haverá uma divisão das taxas de engajamento por etapa do formulário em cada variante, para que você entenda em que ponto os visitantes do site podem estar abandonando o formulário. Aqui você pode analisar:

• Taxa de engajamento da etapa 1
  Essa métrica reflete a porcentagem de usuários que se engajaram com a primeira etapa da variante do formulário de registro.
• Usuários que concluíram todas as etapas
  Esta métrica reflete a porcentagem de usuários que com interações com todas as etapas da variante do formulário de registro.

Abaixo desses dados, há um gráfico de Taxa de conclusão da etapa por variante, para que você possa visualizar as taxas de engajamento por etapa e comparar as taxas entre as variantes do formulário no teste A/B.

Perguntas frequentes

Tenho uma notificação de que meu formulário, que tem um teste A/B com atraso de tempo, está calculando a taxa de envio de formulários de forma diferente. Por quê?

Se você estiver testando um atraso de tempo no seu formulário, sua taxa de envio de formulários será calculada com base nas conversões de usuários únicos qualificados para ver seu formulário (Visualizações únicas qualificadas), em vez do número total de visualizações que o formulário teve.

Por exemplo, seu teste A/B tem peso igual e a mensagem "Precisa de ajuda para navegar?" No teste, 1 formulário aparece imediatamente quando alguém visita seu site, e o outro formulário é carregado após um minuto. Embora o mesmo número de pessoas fique na fila para ver ambos os formulários, mais pessoas verão o formulário que aparece imediatamente. Embora não haja tantas pessoas que vejam o formulário com atraso, ele oferece ajuda a compradores confusos e, por isso, ainda pode ter uma taxa de envio de formulários. Para testar se o atraso do formulário leva a uma taxa de envio mais alta ou mais baixa, a taxa de envio de formulários não será o número de envios como porcentagem do número de visualizações, mas sim o número de envios como porcentagem do número de pessoas que poderiam ter visto o formulário.

Eu selecionei as duas caixas para a parte de Seleção do vencedor do meu teste A/B. O teste vai terminar quando as duas ou apenas uma das condições for atendida?

Essas caixas de seleção funcionam como uma condição OU, o que significa que qualquer uma das condições pode ser atendida e o teste será interrompido. As duas condições não precisam ser atendidas para que o teste seja interrompido.

Posso editar as configurações do teste do meu teste A/B de formulário depois que ele já estiver em execução?

Sim, acesse seu teste A/B a partir do seu formulário e selecione Editar teste A/B para alterar as configurações. No entanto, você não poderá alterar o conteúdo dos formulários sem encerrar o teste atual e iniciar um novo.

Se alguém não interagir com um formulário que faz parte de um teste A/B, quando o formulário aparecer para essa pessoa uma segunda vez, ela verá uma versão diferente do formulário?

Não, elas receberão um cookie ao ver o formulário pela primeira vez e só verão essa variante, a menos que limpem os cookies ou estejam navegando em um navegador anônimo.

Quando crio um teste A/B para meu formulário, ele vai para o modo rascunho?

O formulário ficará no mesmo estado em que estava antes de você criar o teste. Se estava no modo ao vivo e você criar um teste A/B, a versão atual ficará ao vivo. Se estava em rascunho, o formulário ficará no modo rascunho.

Eu tinha um erro de digitação no meu teste A/B de formulário, então publiquei um novo. Como posso excluir permanentemente o teste com erro de digitação?

Vá até os resultados do teste que você quer excluir selecionando o formulário e acessando as Configurações de teste A/B. Em seguida, escolha Excluir teste.

Eu ativei meu teste A/B do formulário e, depois, percebi que tinha um erro de digitação. Não quero parar o teste, reconstruí-lo e ativá-lo novamente. O que devo fazer?

Acesse a página Configurações do teste A/B enquanto o teste estiver em execução clicando em Editar teste A/B nas análises do formulário e clique em Editar conteúdo. Isso criará um novo rascunho de teste A/B, e você poderá fazer edições conforme necessário e, em seguida, publicá-lo clicando em Publicar teste A/B.

Uma das minhas variantes de formulário está com desempenho muito ruim e quero atualizar a quantidade de tráfego que vai para o formulário. Posso fazer isso?

Sim. Clique no seu formulário e vá para as configurações de teste A/B do seu formulário. Selecione Editar teste A/B e altere a ponderação ou ative as ponderações automáticas, em que o modelo levará o desempenho em consideração.

Quero testar para ver se ofertas diferentes têm maior probabilidade de gerar conversão. Como faço para garantir que vou oferecer uma série de boas-vindas diferente correlacionada a cada formulário?

Você pode ajustar a lista à qual uma pessoa está enviando para cada variante. Para fazer cada variante ir para listas diferentes, clique no botão de CTA no formulário e altere a Lista para enviar na seção Ação ao clicar no botão. A partir daí, acionar o fluxo da sua série de boas-vindas com base em alguém entrar na lista de cada variante e fazer o acompanhamento com a oferta associada.

Quero acompanhar quem vê cada variante do formulário do teste A/B. Como posso fazer isso?

Há duas maneiras de fazer isso. Você pode ajustar a lista para a qual uma pessoa está enviando ou adicionar um campo oculto que é enviado quando alguém clica no seu formulário. Se você quiser que as diferentes variantes vão para listas diferentes, selecione o botão e altere a configuração Lista para enviar na seção Ação de clique no botão. Se você quiser enviar por meio de um campo oculto, adicione uma propriedade na seção Enviar campos ocultos. Em seguida, crie um segmento com base em cada propriedade.

Recursos adicionais