Como analisar os resultados de seus testes A/B para campanhas

O que você vai aprender

Saiba quais dados o senhor pode encontrar na página de resultados do teste A/B e o que cada um desses indicadores significa. As informações contidas neste guia se aplicam a testes A/B com campanhas de e-mail e campanhas de SMS.

As campanhas de teste A/B podem fornecer informações valiosas sobre seu público-alvo, simplificando a determinação das alterações a serem feitas em sua estratégia de envio. O senhor saberá não apenas a variação vencedora de um teste A/B, mas também outros fatores importantes, como a porcentagem de confiança da vitória e os detalhes da métrica vencedora.

Resultados do teste A/B

Para ver os resultados de um teste A/B: 

1. Navegue até a campanha que está testando.
2. Selecione a guia Resultados do teste A/B do relatório principal da campanha.
   

Visão geral do teste

Na seção Resultados do teste, o senhor verá um instantâneo com o seguinte:

• Variação vencedora
  Após a conclusão de um teste, a variação vencedora. 
• Status
  Se o teste A/B está em andamento (ou seja, coletando análises) ou concluído.
• Probabilidade de vitória
  Qual é a probabilidade de que a variação vencedora realmente tenha tido a maior taxa de abertura, clique ou pedido feito após levar em conta o acaso, e se essa probabilidade é considerada estatisticamente significativa.
• Elevação
  Quanto melhor foi o desempenho da variação vencedora em relação à outra variação. Calculado com base na métrica vencedora (ou seja, taxa de abertura, taxa de cliques ou taxa de pedidos feitos). Para testes com mais de 3 variações, o segundo teste com melhor desempenho é usado para comparação.
• Métrica vencedora
  Os resultados da variação vencedora para a métrica que foi usada no teste. Por exemplo, se a taxa de abertura fosse escolhida como a métrica vencedora, a porcentagem da taxa de abertura seria mostrada.

Abaixo desses resultados, o senhor pode analisar as taxas de abertura, cliques e pedidos feitos para cada variação do teste.

Como a elevação é calculada

A porcentagem de elevação é diferente da porcentagem mostrada para sua variação vencedora. Isso ocorre porque a porcentagem mostrada ao lado de cada variação é a porcentagem de pessoas que interagiram com o e-mail (abertura, clique, pedido feito), enquanto a elevação é a porcentagem de melhoria que o vencedor teve em relação à outra variação.

Por exemplo, se o senhor estiver usando a taxa de cliques como sua métrica vencedora e a variação A tiver 5/100 (5%) de cliques dos destinatários e a variação B tiver 4/100 (4%) de cliques dos destinatários, a diferença entre as variações será de 1 clique. Isso significa que a elevação foi de 1/5 (20%). Em outras palavras, o aumento foi de 20% com a variação A tendo uma taxa de cliques de 5% e a variação B com uma taxa de cliques de 4%.

Resultados de variação personalizados

Se o senhor escolher a opção de personalizar variações para cada destinatário, verá métricas ligeiramente diferentes na página de resultados do teste, incluindo as seguintes:

• Aumento total do teste A/B
  Quanto melhor foi o desempenho da melhor variação em relação à segunda melhor variação. Calculado com base na métrica vencedora (ou seja, taxa de abertura ou taxa de cliques).
• Elevação da personalização
  Porcentagem de quanto mais bem-sucedido foi o teste personalizado em relação a um teste A/B padrão.
• Taxa de cliques da personalização
  A taxa média de cliques entre todas as variações de perfis que receberam sua variação preferida.
• Características do perfil derivadas pela IA do Klaviyo
  Uma lista dos dados usados pela IA para determinar um padrão entre os perfis que preferiram uma variação específica, ou seja, quais fatores provavelmente fizeram com que alguém preferisse uma variação em vez da outra. Clique em cada variação para ver os dados usados, pois eles serão diferentes de acordo com a variação.

Compreensão do ganho de confiança e da significância estatística

Digamos, por exemplo, que o senhor queira verificar se a inclusão de emojis na linha de assunto afeta a taxa de abertura da sua lista de e-mails. Se o senhor enviar o teste para apenas dois assinantes e os emojis tiverem uma taxa de abertura melhor, não é possível afirmar de forma conclusiva que o restante da sua lista de e-mails terá a mesma opinião. Se, em vez disso, o senhor fizesse um teste com 100 pessoas da sua lista de e-mails e descobrisse que os emojis têm uma taxa de abertura substancialmente mais alta, o senhor se sentiria muito mais confiante de que usar emojis em suas linhas de assunto é melhor para o seu público.

Em Win probability, o senhor verá se a variação mostrada é ou não estatisticamente significativa. Se for considerada significativa, isso significa que a variação tem uma alta probabilidade de ganho (ou seja, 90% ou mais). Um teste também pode ser promissor, inconclusivo ou não estatisticamente significativo. Saiba mais sobre a significância estatística no Klaviyo.

Recursos adicionais

• Práticas recomendadas para testes A/B
• Como fazer um teste A/B em um formulário de inscrição
• Como fazer um teste A/B em um e-mail de fluxo individual
• Como fazer um teste A/B em um e-mail de campanha