Como revisar os resultados do seu teste A/B para campanhas
O que você vai aprender
Saiba quais dados você pode encontrar na página de resultados dos Testes A/B e o que cada um desses indicadores significa. As informações neste guia se aplicam tanto aos Testes A/B com campanhas de e-mail quanto a campanhas de SMS.
Campanhas de Testes A/B podem fornecer insights valiosos sobre seu público, facilitando determinar quais mudanças você deve fazer na sua estratégia de envio. Você não só vai saber qual é a variante vencedora de um teste A/B, como também outros fatores importantes, como a probabilidade de vitória e os detalhes da métrica vencedora.
Resultados do teste A/B
Para ver os resultados de um teste A/B:
- Acesse a campanha que você está testando.
- Selecione a aba Resultados do teste A/B do relatório principal da campanha.
Visão geral do teste
Para um teste A/B padrão, a seção Visão geral do teste mostra o seguinte:
- Variante vencedora
Quando um teste é concluído, a variante com a métrica vencedora mais alta para os resultados que você está visualizando. - Status
Se o teste A/B está em andamento (ou seja, coletando analytics) ou concluído. - Probabilidade de vitória
O quão provável é que a variante vencedora realmente tenha tido a maior taxa de abertura, de clique ou de taxa de pedidos, levando em conta o acaso, e se essa probabilidade é considerada estatisticamente significativa. - Lift
O quanto a variante vencedora teve um desempenho melhor do que a outra variante. Calculado com base na métrica vencedora (ou seja, taxa de abertura, taxa de cliques (CR) ou taxa de pedidos). Para testes com 3+ variante, o teste com o segundo melhor desempenho é usado para comparação. - Métrica vencedora
Os resultados da variante vencedora para a métrica usada no teste. Por exemplo, se a taxa de abertura tiver sido escolhida como a métrica vencedora, a porcentagem da taxa de abertura será exibida.
Abaixo desses resultados, você pode analisar as taxas de abertura e de taxa de cliques (CR) de cada variante de e-mail ou a taxa de cliques (CR) de SMS. A tabela também mostra resultados de conversão quando uma métrica de conversão está disponível; isso nem sempre é Placed Order.
Para um teste A/B padrão concluído com um grupo de teste menor do que o público total, use as abas na seção Visão geral do teste para comparar:
- Resultados do período de teste mostra as interações durante o período de teste de destinatários no grupo de teste.
- Resultados contínuos incluem interações posteriores do mesmo grupo de teste. A variante líder pode mudar conforme mais resultados chegam.
Confira o resumo do envio vencedor abaixo para ver as interações com a variante vencedora enviada aos destinatários restantes após o período de teste.
Como o lift é calculado
A porcentagem de lift é diferente da porcentagem exibida para sua variante vencedora. Isso acontece porque a porcentagem exibida ao lado de cada variante é a porcentagem de pessoas que interagiram com a mensagem (abriram, clicaram, fizeram um pedido), enquanto o lift é a porcentagem de melhoria que a vencedora teve em relação à outra variante.
Por exemplo, se você estiver usando a taxa de cliques (CR) como sua métrica vencedora e a variante A tiver 5/100 (5%) destinatários clicando e a variante B tiver 4/100 (4%) destinatários clicando, a diferença é de 1 ponto percentual. O lift compara essa diferença com a taxa de cliques (CR) da variante B: (5% − 4%) / 4% × 100 = 25%. Portanto, a variante A tem uma taxa de cliques (CR) de 5% e um lift de 25% sobre a variante B.
Resultados de variantes personalizadas
A opção de escolher uma estratégia de teste exige pelo menos 400.000 perfis no total. Se a opção não estiver disponível na sua conta, a Klaviyo usa a estratégia de teste da variante vencedora.
Se você escolheu Variantes personalizadas para cada destinatário, selecione Resultados do período de teste quando o teste estiver concluído para ver as seguintes métricas:
- Melhoria total do teste A/B
A melhoria estimada com base em variantes personalizadas em comparação com a segunda melhor variante em um teste A/B padrão, com base na métrica vencedora (taxa de abertura ou taxa de cliques (CR)). - Aumento de Personalização
A melhoria estimada de variantes personalizadas em comparação com enviar para todos a variante vencedora de um teste A/B padrão. - Taxa de abertura da Personalização ou taxa de cliques (CR) da Personalização
A taxa de abertura ou a taxa de cliques (CR) estimada para variantes personalizadas, com base em destinatários de teste que receberam a variante que a Klaviyo previu que eles prefeririam. A métrica exibida depende da métrica vencedora que você selecionou. - Características de perfil derivadas pela Klaviyo AI
Características associadas a destinatários com maior probabilidade de interagir com uma variante específica. Expanda cada variante para ver suas características, que podem ser diferentes entre as variantes.
Analise o Resumo de envio personalizado para ver as interações com as variantes personalizadas enviadas após o período de teste.
Como entender a probabilidade de vitória e a significância estatística
Digamos, por exemplo, que você queira ver se adicionar emojis à sua linha de assunto afeta sua taxa de abertura com a sua lista de e-mail. Se você enviar o teste apenas para 2 assinantes e os emojis tiverem uma taxa de abertura melhor, você não pode afirmar com certeza que o restante da sua lista de e-mail vai se sentir da mesma forma. Se, em vez disso, você testar com 100 pessoas na sua lista de e-mail e descobrir que os emojis têm uma taxa de abertura substancialmente maior, você se sentirá muito mais confiante de que usar emojis nas suas linhas de assunto é melhor para o seu público.
Em Probabilidade de vitória, um teste A/B padrão concluído pode mostrar um rótulo de significância estatística. Um resultado é estatisticamente significativo quando sua probabilidade de vitória está acima de 90% e cada variante tem mais de 50 entregas de e-mail bem-sucedidas ou tentativas de entrega de SMS. Um teste também pode ser promissor, inconclusivo ou não estatisticamente significativo. Para resultados promissores, repita o teste para confirmar a conclusão. Resultados inconclusivos não mostram um rótulo de significância. Saiba mais sobre significância estatística no Klaviyo.
Recursos adicionais
- Best practices for A/B testing reference
Learn best practices for using Klaviyo's A/B testing features to help optimize your communication with customers.
- How to A/B test a sign-up form
Learn how to use A/B testing to evaluate the performance of various elements of your sign-up forms. By effectively analyzing the results, you can ensure that your forms resonate with site visitors and contribute to list growth.
- How to A/B test a flow email
Learn how to use Klaviyo’s A/B testing experience to test individual emails in a flow, including things like subject line, discounts, and email content, etc. You can even use A/B tests to determine if plain-text emails perform better than image-heavy HTML emails.
- How to A/B test an email campaign
Learn how to set up and run an A/B test for a campaign, how to read the test results, and a few use cases for A/B testing campaigns. Klaviyo's A/B testing feature for campaigns allows you to easily test different subject lines, message content, and send times so you can better understand what works best for your audience.