Como fazer um teste A/B em um e-mail de fluxo

O que você vai aprender

Saiba como usar a experiência de teste A/B do Klaviyo para testar e-mails individuais em um fluxo, incluindo itens como linha de assunto, descontos, conteúdo do e-mail etc. O senhor pode até usar testes A/B para determinar se os e-mails em texto simples têm melhor desempenho do que os e-mails em HTML com muitas imagens.

Sobre fluxos e testes A/B

O teste A/B de fluxo de e-mail inclui os processos de:

1. Criar um único e-mail de fluxo e programar esse e-mail para ser enviado após um determinado número de horas ou dias, como o senhor faria normalmente.
2. Configurar duas ou mais variações de e-mail para esse único fluxo de e-mail, ajustando a linha de assunto ou o conteúdo principal do e-mail para cada variação.
3. Selecionar o peso de cada variação para estabelecer a porcentagem de destinatários que receberão cada e-mail.
4. Ter uma variação vencedora escolhida automaticamente depois que a significância estatística é alcançada ou escolher manualmente um vencedor com base na maior taxa de abertura ou na maior taxa de cliques entre as variações.

Realizar um teste A/B de fluxo de e-mail

A criação de um teste A/B pode ser feita facilmente por meio do construtor de fluxo. Observe que, após a conclusão de um teste para um e-mail, o senhor pode criar outro teste para o mesmo e-mail no futuro, se necessário. 

Criar um novo teste

1. Para configurar o teste A/B para um e-mail individual em qualquer fluxo, clique no e-mail dentro do construtor de fluxo.
2. Configure o conteúdo do e-mail, se o senhor ainda não tiver feito isso.
3. Clique em Create A/B test (Criar teste A/B) no painel de detalhes do e-mail.
   

Editar variações

Depois de criar um novo teste, o senhor será levado diretamente para a guia A/B Test (Teste A/B ) da janela Manage Content ( Gerenciar conteúdo ). Cada teste incluirá automaticamente duas variações. Ao clicar em uma variação, o senhor pode editar o nome da variação, a linha de assunto, o texto de visualização, o nome do remetente e o endereço de e-mail do remetente.

1. Para editar o conteúdo do e-mail, clique no botão Editar e-mail acima da visualização do e-mail à direita.
   

Adicionar uma nova variação

Se quiser adicionar outra variação, o senhor deve clonar uma das duas variações existentes. 

1. Clique no ícone de clone à direita da variação na qual o senhor deseja basear sua nova variação.
   
2. Isso criará uma nova variação que o senhor pode modificar para que seja diferente das duas variações originais.
   

Excluir uma variação

Um teste A/B deve ter pelo menos duas variações, portanto, uma variação só pode ser excluída quando houver três ou mais. Além disso, as variações só podem ser excluídas enquanto um teste estiver no status Rascunho. A exclusão de variações está desativada para testes A/B ao vivo.

1. Para excluir uma variação, clique no ícone da lixeira à direita da variação que o senhor deseja excluir.
   

Escolha o peso de cada variação

Na parte inferior da guia Teste A/B, você verá a seção Configurações de teste, na qual poderá editar o peso de cada variação - isso estabelecerá a porcentagem de destinatários que receberão cada variação. 

O senhor também pode selecionar a opção de escolher automaticamente a distribuição. Isso fará com que a distribuição seja igual para cada variação no início. Com o tempo, se uma das variações tiver um desempenho melhor do que as outras, a Klaviyo ajustará automaticamente a distribuição para direcionar mais destinatários para a variação com melhor desempenho enquanto o teste ainda estiver em andamento.

Configurar a seleção do vencedor

Por padrão, os testes escolherão automaticamente um vencedor com base na taxa de cliques, mas isso pode ser alterado.

1. Na seção Test Settings (Configurações de teste ) na parte inferior da guia A/B Test (Teste A/B ), também é possível configurar a seleção do vencedor clicando no link Configure (Configurar ) em Winner Selection (Seleção do vencedor).
   
   
   
2. Aparecerá um modal no qual o senhor poderá alterar o Winning métrica para taxa de abertura.
   Para o fluxo E-mail, somente a taxa de abertura e a taxa de cliques estão disponíveis como métrica vencedora.
   Recomenda-se o uso da taxa de cliques, pois muitos fatores, como o Apple Mail Privacy Protection (MPP), podem causar taxas de abertura inflacionadas. Para obter informações completas sobre a abertura de MPP, visite nosso guia iOS 15: Como se preparar para as mudanças da Apple.
   
3. Na seção Automatic Winner Selection (Seleção automática do vencedor), há duas opções:
   1. Encerrar o teste se a métrica vencedora for determinada como vencedora com alta certeza estatística (significância estatística): essa opção está marcada por padrão. Desmarque a caixa ao lado dessa opção se o senhor quiser encerrar o teste manualmente ou escolha a opção de encerrar o teste após uma data específica.
   2. Definir um limite de data: essa opção permite que o senhor selecione uma data específica para encerrar o teste automaticamente.
4. Se o senhor selecionar as duas opções, o teste será encerrado se a significância estatística for atingida ou se a data especificada for atingida, dependendo do que ocorrer primeiro.
5. Clique no botão Save Settings (Salvar configurações) para confirmar a configuração.

Publicar um teste

1. Depois de configurar as variações, o senhor estará pronto para publicar o teste. Na guia A/B Test (Teste A/B ), clique no botão Publish Test (Publicar teste ) no canto superior direito.
   
   
   
2. Será exibido um modal solicitando que o senhor confirme a publicação. Clique no botão Publish Test (Publicar teste) para confirmar.
   
   

Excluir um teste

1. Se quiser excluir um teste, na guia A/B Test (Teste A/B ), clique na seta ao lado do botão Publish Test (Publicar teste ) e selecione Delete (Excluir).
   

Visualizar resultados de testes A/B

1. O senhor pode visualizar os resultados de um teste enquanto ele estiver em execução ou após a conclusão, clicando no e-mail dentro do criador de fluxo e no botão View test (Visualizar teste ).
   

Isso o levará à página A/B Test Results (Resultados do teste A/B), onde poderá visualizar as seguintes métricas:

• Destinatários
  Quantas pessoas receberam o e-mail
• Abre
  Qual a porcentagem/número de pessoas que abriram o e-mail 
• Cliques
  Qual a porcentagem/número de pessoas que clicaram no e-mail
• Conversion Metric
  Total de destinatários que acionaram a métrica de conversão a métrica de conversão selecionada para o e-mail, como Placed Order (Pedido feito)

Para obter informações mais detalhadas sobre a página de resultados do teste A/B, consulte nosso artigo sobre como analisar os resultados do teste A/B de e-mail para fluxos.

Escolher manualmente um vencedor

Na maioria dos casos, é melhor esperar que o teste A/B escolha automaticamente um vencedor, mas pode haver uma situação em que você queira encerrar um teste A/B antecipadamente. Nesse caso, siga as etapas abaixo.

1. Na página Resultados do teste A/B, o senhor pode escolher manualmente uma variação vencedora para o teste clicando no botão Choose Winner (Escolher vencedor ) no canto superior direito da página.
   
   
   
2. Será exibido um modal solicitando que o senhor escolha um vencedor de cada uma das variações existentes. Selecione a variação que o senhor gostaria de ganhar no menu suspenso e clique no botão Choose Winner.
   
   

Recursos adicionais

Saiba mais sobre testes A/B em fluxos:

• Teste A/B de um ramo de fluxo
• Práticas recomendadas para testes A/B