Como fazer um teste A/B em um e-mail de fluxo
O que você vai aprender
Saiba como usar a experiência de Testes A/B da Klaviyo para testar emails individuais em um fluxo, incluindo itens como linha de assunto, descontos e conteúdo do email, etc. Você pode até usar Testes A/B para determinar se emails de texto simples têm um desempenho melhor do que emails HTML com muitas imagens.
Sobre fluxos e testes A/B
Os testes A/B de e-mail no fluxo incluem os processos de:
- Criar um único e-mail de fluxo e programar esse e-mail para ser enviado após um determinado número de horas ou dias, como você normalmente faria.
- Configurar duas ou mais variantes de e-mail para esse único e-mail do fluxo — ajustando a linha de assunto ou o conteúdo principal do e-mail para cada variante.
- Selecione o peso de cada variante para definir a porcentagem de destinatários que receberá cada email.
- Ter uma variante vencedora escolhida automaticamente após atingir significância estatística ou escolher manualmente uma vencedora com base na maior taxa de abertura ou na maior taxa de cliques (CR) entre as variantes.
Realize um teste A/B de e-mail de fluxo
Criar um teste A/B pode ser feito facilmente pelo criador de fluxos. Observe que, depois que um teste for concluído para um e-mail, você pode criar outro teste para o mesmo e-mail no futuro, se necessário.
Criar um novo teste
- Para configurar Testes A/B para um e-mail individual em qualquer fluxo, clique no e-mail dentro do criador de fluxos.
- Configure o conteúdo do e-mail, se ainda não tiver feito isso.
- Clique em Criar teste A/B no painel Detalhes do e-mail.
Quando você cria um teste A/B para um e-mail de fluxo existente, duas novas cópias do e-mail são criadas. Se o e-mail de fluxo estiver ativo e já estiver sendo enviado, quando o teste A/B for publicado, as análises de cada uma dessas cópias serão rastreadas separadamente. Não continuamos rastreando as análises do e-mail original depois que você adiciona uma variante.
Editar variantes
Depois de criar um novo teste, você será levado(a) diretamente para a aba Teste A/B da janela Gerenciar Conteúdo . Todo teste vai incluir automaticamente 2 variantes. Ao clicar em uma variante, você pode editar o nome da variante, a linha de assunto, o texto de pré-visualização, o nome do remetente e o endereço de e-mail do remetente.
- Para editar o conteúdo do e-mail, clique no botão Editar e-mail acima da prévia do e-mail à direita.
Adicionar uma nova variante
Se você quiser adicionar outra variante, é preciso clonar 1 das 2 variantes existentes.
- Clique no ícone de duplicar à direita da variante na qual você quer basear sua nova variante.
- Isso vai criar uma nova variante que você pode modificar para ficar diferente das 2 variantes originais.
Excluir uma variante
Um teste A/B precisa ter pelo menos 2 variantes, portanto, uma variante só pode ser excluída quando houver 3 ou mais. Além disso, as variantes só podem ser excluídas enquanto um teste estiver com o status Draft. A exclusão de variantes está desativada para testes A/B ativos.
- Para excluir uma variante, clique no ícone de lixeira à direita da variante que você quer excluir.
Escolha o peso de cada variante
Na parte inferior da aba Teste A/B, você verá a seção Configurações do teste, onde pode editar o peso de cada variante – isso estabelecerá a porcentagem de destinatários que receberão cada variante.
Em geral, recomenda-se ponderar cada variante igualmente, mas você pode alterar as porcentagens para o valor que quiser.
Você também pode selecionar a opção para escolher a distribuição automaticamente. Isso definirá, no início, uma distribuição igual para cada variante. Com o tempo, se uma das variantes tiver um desempenho melhor do que as outras, a Klaviyo ajustará automaticamente a distribuição para direcionar mais destinatários à variante com melhor desempenho enquanto o teste ainda estiver em execução.
Configurar a seleção do vencedor
Por padrão, os testes escolherão automaticamente um vencedor com base na taxa de cliques (CR), mas isso pode ser alterado.
- Na seção Configurações de teste na parte inferior da guia Teste A/B, você também pode configurar a seleção do vencedor clicando no link Configurar em Seleção do vencedor.
- Uma janela modal aparecerá na qual você poderá mudar a Métrica vencedora para taxa de abertura.
Para e-mails de fluxo, apenas taxa de abertura e taxa de cliques (CR) estão disponíveis como métricas vencedoras.
Recomendamos usar a taxa de cliques (CR), já que muitos fatores, como o Apple Mail Privacy Protection (MPP), podem causar taxas de abertura infladas. Para obter informações completas sobre a abertura de MPP, visite nosso guia iOS 15: como se preparar para as mudanças da Apple.
- Na seção Seleção automática de vencedores, há 2 opções:
- Encerrar o teste se for determinado, com alta certeza estatística (significância estatística), que a métrica vencedora vai ganhar: esta opção vem marcada por padrão. Desmarque a caixa ao lado desta opção se você quiser encerrar o teste manualmente ou escolher a opção de encerrar o teste após uma data específica.
- Definir um limite de data: esta opção permite que você selecione uma data específica para encerrar o teste automaticamente.
- Se você selecionar as duas opções, o teste será encerrado quando a significância estatística for atingida ou quando a data especificada for alcançada, dependendo do que acontecer primeiro.
- Clique no botão Salvar configurações para confirmar sua configuração.
Publicar um teste
- Depois de configurar suas variantes, você está pronto para publicar seu teste. Na aba Teste A/B, clique no botão Publicar teste no canto superior direito.
- Um modal vai aparecer pedindo que você confirme a publicação. Clique no botão Publicar teste para confirmar.
Excluir um teste
- Se quiser excluir um teste, na aba Teste A/B, clique na seta ao lado do botão Publicar teste e selecione Excluir.
Ver resultados do teste A/B
- Você pode ver os resultados de um teste enquanto ele está em execução ou após a conclusão clicando no e-mail no criador de fluxo e clicando no botão Ver teste .
Isso levará você à página Resultados do teste A/B, onde você pode ver as seguintes métricas:
- Destinatários
Quantas pessoas receberam o e-mail - Aberturas
Qual porcentagem/número de pessoas abriu o e-mail - Cliques
Qual porcentagem/número de pessoas clicou no e-mail - Métrica de conversão
Total de destinatários que acionaram a métrica de conversão selecionada para o e-mail, como Placed Order.
Para obter informações mais detalhadas sobre a página de resultados do teste A/B, confira nosso artigo sobre como revisar os resultados do teste A/B de e-mail para fluxo.
Escolher um vencedor manualmente
Na maioria dos casos, você vai querer esperar que seu teste A/B escolha automaticamente um vencedor, mas pode haver uma situação em que você queira encerrar um teste A/B antecipadamente. Nesse caso, siga as etapas abaixo.
- Na página Resultados do teste A/B, você pode escolher manualmente uma variante vencedora para o teste clicando no botão Escolher vencedor no canto superior direito da página.
- Você verá um modal pedindo que você escolha um vencedor de cada uma das suas variantes existentes. Selecione a variante que você quer que vença no menu suspenso e clique no botão Escolher vencedor.
Alterar o status de uma mensagem de ativo para rascunho encerrará o teste e escolherá automaticamente um vencedor com base na métrica vencedora – a primeira variante será escolhida em caso de empate.
Recursos adicionais
Learn more about A/B testing in flows:
- How to A/B test flow branches
Learn how you can A/B test flow branches using a multi-branch split to test things like timing, discounts, and number of emails within a flow. In this article, we run through how to set up and end an A/B test for a flow branch.
- Best practices for A/B testing reference
Learn best practices for using Klaviyo's A/B testing features to help optimize your communication with customers.