Como fazer um teste A/B em um formulário de inscrição

O que você vai aprender

Saiba como usar o teste A/B para avaliar o desempenho de vários elementos do seu formulário de registro. Ao analisar os resultados de forma eficaz, o senhor pode garantir que seus formulários tenham repercussão entre os visitantes do site e contribuam para o crescimento da lista. 

Preparação para o teste A/B

Antes de começar a criar seu teste A/B, considere estas diretrizes gerais:

• Testar uma variável de cada vez (por exemplo, oferta de cupom)
  • Concentre-se em alterar uma única variável (elemento) de cada vez, como um cupom, para avaliar claramente seu impacto.
• Comece pequeno com o teste de variação
  • Ao testar uma variável (por exemplo, oferta de cupom), comece com uma ou duas variações para medir a eficácia. O senhor pode aumentar a complexidade em testes posteriores à medida que coleta mais dados, mas não use mais de 4.
• Evitar mudanças no meio do teste
  • Não altere as configurações do teste enquanto ele estiver ativo. Observe que não é possível editar a variação do formulário depois que o teste estiver ativo; é necessário encerrar o teste para fazer esse tipo de alteração, portanto, confirme todas as configurações com antecedência. 
• Permitir a duração substancial do teste
  • Aguarde resultados estatisticamente significativos ou até que o senhor tenha uma amostra suficiente de espectadores para encerrar o teste. Lembre-se de que mais variações exigem mais tráfego para obter resultados confiáveis. 
• Compreender a significância estatística
  • Familiarize-se com a forma como a significância estatística afeta os resultados de um teste A/B.

O que testar A/B

Criação de um teste A/B

Criar um teste

Há duas maneiras diferentes de criar um teste A/B para seu formulário de inscrição:

• Na guia Formulário de registro, clique no menu suspenso de três pontos ao lado do formulário que deseja testar e selecione Criar teste A/B.
• Abra o editor de formulários para um formulário de inscrição que você gostaria de testar e selecione Create A/B test (Criar teste A/B ) no canto superior. 

Não importa de onde o senhor venha:

1. Selecione Create A/B Test (Criar teste A/B ) para começar.
   
2. Em seguida, dê ao seu teste um nome descritivo. Se estiver testando as cores dos botões no pop-up do boletim informativo, poderá nomear o teste como Newsletter - Color of Submit Button.
3. Depois de nomear seu teste A/B, dê nomes diferentes às variações do formulário de inscrição selecionando o ícone de lápis ao lado do nome atual do formulário.
   • Por padrão, ele virá com o nome Copy # of Name of Form. Com o exemplo anterior do botão de envio de cores diferentes, o senhor pode ter seus formulários denominados Newsletter - Azul e Newsletter - Cinza.
   • Aqui, o senhor também pode adicionar até 7 variações ao seu teste A/B. Lembre-se de que, quanto mais variações o senhor adicionar, mais tempo precisará para executar o teste. Um teste A/B ideal teria de duas a quatro variações. No exemplo abaixo, há três variações: o formulário original e os dois testes adicionais.
4. Depois de configurar o teste, selecione Create Test (Criar teste).

Configuração das variações

Depois de criar o teste, o senhor será direcionado de volta ao editor do formulário de inscrição. O senhor poderá alternar entre as diferentes variações do seu formulário selecionando o nome do formulário. Nesse menu, o senhor também pode optar por alterar o nome da variação, criar uma variação adicional ou excluir a variação.

Consulte a seção O que testar A/B para obter inspiração.

Quando terminar de configurar o formulário, selecione Continue to Test Settings (Continuar para testar as configurações).

Configuração das definições de teste A/B

O senhor pode acessar a página de configurações de teste de duas maneiras diferentes. O senhor pode:

• Clique no botão Continue to Test Settings (Continuar para testar configurações ) no editor do formulário de inscrição.
• Selecione seu formulário na página Sign-up forms (Formulários de inscrição) e, em seguida, navegue até A/B Test Results (Resultados do teste A/B) > Edit Test (Editar teste). As configurações personalizáveis de seu teste serão exibidas aqui. Considere a possibilidade de personalização:
  • Nomes de variações
  • Seleção de tráfego (peso)
  • Seleção do vencedor
  • Notas

Seleção de tráfego

Nessa seção, é possível determinar quanto tráfego vai para as variações do seu formulário. Por padrão, cada formulário será exibido para uma quantidade igual de visualizadores. À medida que o teste for sendo executado, se uma de suas variações tiver um desempenho melhor do que as demais, o Klaviyo direcionará o tráfego para o formulário com melhor desempenho enquanto o teste estiver sendo executado.

Se o usuário alternar para selecionar Weight - Manual, poderá especificar a quantidade de tráfego que deseja direcionar para cada variação do formulário. Os valores precisam somar 100%.

Seleção do vencedor

Semelhante à seção de seleção de tráfego, o senhor tem duas opções para determinar como escolher o vencedor do teste. O senhor pode encerrar o teste automática ou manualmente.

• Automaticamente
  Se o senhor encerrar o teste automaticamente, ele será encerrado quando houver uma variação que supere a(s) outra(s) em um nível estatisticamente significativo ou quando atingir uma data específica. O senhor também pode selecionar as duas caixas e o teste terminará quando uma das condições for atendida. Por exemplo, se o senhor tiver ambas as condições selecionadas e o formulário for executado somente por um mês, se o formulário tiver resultados estatisticamente significativos após uma semana, o teste será encerrado.
  • Se o senhor encerrar o teste quando os resultados forem apenas estatisticamente significativos, o modelo de ciência de dados da Klaviyo fará as contas para o senhor e escolherá um vencedor.
  • Se o senhor optar por enviar o teste em uma data específica, o teste terminará à meia-noite, horário universal coordenado (UTC).
• Manually
  Se optar por encerrar o teste manualmente (desmarcar as duas caixas), o senhor escolherá o vencedor e a data de encerramento do teste. 

Independentemente da seleção automática que o senhor escolher, após o término do teste, o formulário vencedor estará disponível em seu site.

Selecione Publish A/B Test (Publicar teste A/B ) quando terminar de editar as configurações do teste. Antes de iniciar o teste, a Klaviyo verificará se há algum problema na publicação de formulários em seu site e se o formulário tem todo o conteúdo necessário (por exemplo, idioma de consentimento, CTA, campos de envio etc.).

Revisar os resultados do teste A/B

Durante a execução do teste ou após a conclusão do teste A/B, o usuário pode monitorar os dados em sua conta. Navegue até Formulários de inscrição e selecione o formulário. Na guia Overview (Visão geral ), o senhor pode ver o desempenho geral do formulário. Selecione a guia A/B test results (Resultados do teste A /B) para se aprofundar na análise de seu teste A/B especificamente.

A partir daqui, o senhor também pode editar as configurações do teste A/B. Para fazer isso, selecione Edit A/B test (Editar teste A /B) no canto superior direito da guia A/B test results (Resultados do teste A/B). Aqui o senhor poderá editar as configurações do teste (ou seja, nome, peso da variação, configurações de seleção do vencedor).

O senhor não poderá alterar o conteúdo dos formulários de teste enquanto o teste estiver em andamento. Para editar o conteúdo, clique em Edit content (Editar conteúdo ) para encerrar o teste, clonar um novo teste para editar e começar novamente. 

Visão geral do teste

Em Overview (Visão geral), o senhor terá uma visão geral do desempenho do teste. O senhor pode usar o menu suspenso no canto superior esquerdo para alternar as diferentes variações em seu teste A/B. As métricas mostradas na Visão Geral incluem: 

• Probabilidade de vitória
  A probabilidade de ganho é exibida no cartão superior esquerdo. Essa porcentagem indica a probabilidade de que a variação atual que está ganhando seja a vencedora estatisticamente significativa. À medida que seu teste ganha mais espectadores e fica no ar por um período mais longo, o senhor deve ver esse número aumentar. O senhor saberá quando os resultados do teste se tornarem estatisticamente significativos pelo rótulo abaixo da probabilidade de vitória. Se o senhor estiver visualizando um teste concluído, também haverá um motivo informando por que o teste foi encerrado (por exemplo, encerrado manualmente com a escolha de um vencedor).
• Data de início e datade término
  As datas de início e término do teste estão listadas no cartão superior direito. Se o senhor não definiu uma data de término, isso será deixado em branco. Se o teste for concluído, o senhor verá a data em que o vencedor foi selecionado.

  Para interromper manualmente o teste e escolher um vencedor a qualquer momento, selecione Choose Winner (Escolher vencedor). Se o senhor selecionar esse botão a qualquer momento, terá a opção de encerrar o teste e definir a variação do formulário vencedor para o modo ao vivo ou rascunho.

Abaixo desses cartões, são exibidos os dados brutos de cada variação de formulário em seu teste. Ao lado de cada variação, o senhor pode ver um detalhamento das seguintes métricas por variação:

• Peso atual
  Essa métrica reflete o peso atual do tráfego direcionado a cada formulário. Se o senhor tiver selecionado manualmente a quantidade de tráfego que vai para cada formulário, esses números serão consistentes com as configurações selecionadas ao iniciar o teste. Se estiver usando o modelo de ciência de dados da Klaviyo, você verá o peso do tráfego mudando com o tempo, dando mais tráfego ao formulário que está ganhando e permitindo que você ganhe mais assinantes à medida que executa o teste.
• Pedidos
  O número de pedidos feitos atribuídos a esse formulário.
• Valor médio do pedido(AOV)
  A receita armazenar associada a esse formulário dividida pelo número de pedidos associados ao formulário.
• Revenue
  A soma dos pedidos feitos ($) que ocorreram após o envio de um formulário dentro da janela de lookback.
  

  Para saber mais sobre como a receita está vinculada ao formulário de registro, consulte Understanding revenue métrica for forms.

• Visualizações únicas
  O número de usuários únicos que visualizaram uma variação do formulário de inscrição (por exemplo, se um visitante do site visualiza seu formulário duas vezes, isso conta como uma visualização).
• Envios exclusivos
  O número de usuários únicos que enviam um formulário de variação de registro ou clicam em um botão "Go to URL" (por exemplo, se um visitante do site enviar seu formulário duas vezes, isso conta como 1 envio). Se o formulário tiver um botão de envio e um botão "Go to URL", ele só contará o evento quando alguém enviar o formulário.
• Taxa de envio
  O valor do formulário enviado único dividido pelo número de visualizações únicas. Como essa taxa usa métrica exclusiva, ela será diferente da taxa Enviar na guia Visão geral, que usa totais. 

Gráfico da taxa de envio de formulários

Abaixo dos dados brutos há um gráfico de suas variações, mostrando a taxa de envio de formulários por variação durante a duração do teste A/B. Se o senhor estiver interessado em uma data específica, passe o mouse sobre os pontos de dados para obter mais informações.

Taxas de engajamento

Se estiver executando um teste A/B em um formulário de várias etapas, há um detalhamento das taxas de envolvimento por etapa no formulário por variação, para que possa entender onde os visitantes do site podem estar abandonando o formulário. Aqui o senhor pode analisar:

• Taxa de envolvimento da etapa 1
  Essa métrica reflete a porcentagem de usuários que se envolveram com a primeira etapa da variante do formulário de inscrição.
• Usuários que concluíram todas as etapas
  Essa métrica reflete a porcentagem de usuários que se envolveram em todas as etapas da variante do formulário de inscrição. 

Abaixo desses dados, há um gráfico de Taxa de conclusão da etapa por gráfico de variação, para que o senhor possa visualizar as taxas de envolvimento por etapa e comparar as taxas entre as variações do formulário no teste A/B.

Perguntas frequentes

Recebi uma notificação de que meu formulário que tem um teste A/B de atraso de tempo está calculando a taxa de envio do formulário de forma diferente. Por que isso acontece?

Se estiver testando um atraso de tempo em seu formulário, a taxa de envio do formulário será calculada observando-se as conversões de usuários únicos qualificados para ver o formulário(visualizações únicas elegíveis), em vez do número total de visualizações do formulário.

Digamos, por exemplo, que seu teste A/B tenha uma ponderação uniforme e a mensagem "Need help browsing?" (Precisa de ajuda para navegar?). No teste, um formulário é exibido imediatamente quando alguém visita seu site e o outro formulário é carregado após um minuto. Embora o mesmo número de pessoas esteja na fila para ver os dois formulários, mais pessoas verão o formulário que é exibido imediatamente. Embora não haja tantas pessoas que vejam o formulário com o atraso, ele oferece ajuda aos compradores confusos e, portanto, ainda pode ter uma taxa maior de envio de formulários. Para testar se o atraso do formulário leva a uma taxa de envio maior ou menor, a taxa de envio do formulário não será a quantidade de envios como uma porcentagem do número de visualizações, mas sim a quantidade de envios como uma porcentagem do número de pessoas que poderiam ter visto o formulário.

Selecionei as duas caixas para a parte Winner Selection (Seleção do vencedor) do meu teste A/B. O teste terminará quando ambas ou uma das condições forem atendidas?

Essas caixas de seleção funcionam como uma condição OR, o que significa que qualquer uma das condições pode ser atendida e o teste será interrompido. Não é necessário que ambas as condições sejam atendidas para que o teste seja interrompido.

Posso editar as configurações de teste do meu teste A/B de formulário depois que ele já estiver em execução?

Sim, clique em seu teste A/B no formulário e selecione Edit A/B Test (Editar teste A/B ) para alterar as configurações. No entanto, o senhor não poderá alterar o conteúdo dos formulários sem encerrar o teste atual e iniciar um novo.

Se uma pessoa não se envolver com um formulário que faz parte de um teste A/B, quando o formulário for exibido para ela uma segunda vez, ela verá uma versão diferente do formulário?

Não, eles receberão cookies ao visualizar o formulário pela primeira vez e só verão essa variação, a menos que limpem os cookies ou estejam navegando em um navegador anônimo.

Quando crio um teste A/B para meu formulário, ele vai para o modo de rascunho?

O formulário permanecerá no estado em que estava antes de o senhor criar o teste. Se estiver no modo ativo e o senhor criar um teste A/B, a versão atual estará ativa. Se estiver em rascunho, o formulário estará no modo de rascunho.

Eu tinha um erro de digitação em meu teste A/B de formulário, então publiquei um novo. Como posso excluir permanentemente o teste com um erro de digitação?

Acesse os resultados do teste do qual deseja se livrar selecionando no formulário e indo para A/B Test Settings (Configurações de teste A/B) e, em seguida, escolha Delete Test (Excluir teste).

Coloquei meu formulário de teste A/B no ar e, depois, percebi que havia um erro de digitação. Não quero interromper o teste, recompô-lo e colocá-lo novamente em funcionamento. O que devo fazer?

Acesse a página A/B Test Settings (Configurações do teste A/B) enquanto o teste estiver sendo executado, clicando em Edit A/B Test (Editar teste A/B ) na análise do formulário e em Edit Content (Editar conteúdo). Isso criará um novo rascunho de teste A/B e o senhor poderá fazer edições nele conforme necessário e, em seguida, colocá-lo em funcionamento clicando em Publish A/B Test (Publicar teste A/B).

Uma das variações do meu formulário está tendo um desempenho muito ruim e quero atualizar a quantidade de tráfego que vai para o formulário. Posso fazer isso?

Sim. Clique em seu formulário e acesse as configurações de teste A/B para seu formulário específico. Selecione Edit A/B Test (Editar teste A/B ) e altere a ponderação ou alterne para ponderações automáticas em que o modelo levará em conta o desempenho.

Quero fazer um teste para ver se diferentes ofertas têm maior probabilidade de conversão. Como faço para garantir que o senhor forneça uma série de boas-vindas diferente correlacionada a cada formulário?

O senhor pode ajustar a lista para a qual uma pessoa está enviando para cada variação. Para fazer com que cada variação vá para listas diferentes, clique no botão de CTA no formulário e altere a lista para Submit na seção Button Click Action. A partir daí, acione o fluxo da série de boas-vindas com base na adesão de alguém à lista de cada variação e faça o acompanhamento com a oferta associada.

Quero rastrear quem vê cada variação de formulário do teste A/B. Como posso fazer isso?

O senhor pode fazer isso de duas maneiras. O senhor pode ajustar a lista para a qual uma pessoa está enviando ou pode adicionar um campo oculto que é enviado quando alguém clica no seu formulário. Se quiser que as diferentes variações vão para listas diferentes, selecione o botão e altere a configuração List to Submit na seção Button Click Action. Se quiser enviar por meio de um campo oculto, adicione uma propriedade na seção Submit Hidden Fields (Enviar campos ocultos ). Em seguida, crie um segmento com base em cada propriedade.

Recursos adicionais

• Práticas recomendadas para referência de testes A/B
• Curso: Criando uma estratégia de aquisição eficaz usando formulários de inscrição
• Introdução aos formulários de inscrição
• Curso: Certificado do produto Klaviyo