Como revisar os resultados do seu teste A/B para campanhas
O que você vai aprender
Saiba quais dados você pode encontrar na página de resultados do Testes A/B e o que cada um desses indicadores significa. As informações neste guia se aplicam tanto a Testes A/B com campanhas de e-mail quanto a campanhas de SMS.
Testes A/B em campanhas podem oferecer insights valiosos sobre seu público ao facilitar a identificação de quais mudanças fazer na sua estratégia de envio. Além de saber qual é a variante vencedora de um teste A/B, você também verá outros fatores importantes, como a porcentagem de confiança da vitória e os detalhes da métrica vencedora.
Resultados do teste A/B
Para ver os resultados de um teste A/B:
- Acesse a campanha que você está testando.
- Selecione a aba Resultados do teste A/B do relatório principal da campanha.
Visão geral do teste
Na seção Resultados do teste, você verá um resumo com o seguinte:
- Variante vencedora
Depois que um teste é concluído, a variante que venceu. - Status
Se o teste A/B está em andamento (ou seja, coletando analytics) ou concluído. - Probabilidade de vitória
O quão provável é que a variante vencedora realmente tenha tido a maior taxa de abertura, de clique ou de taxa de pedidos, levando em conta o acaso, e se essa probabilidade é considerada estatisticamente significativa. - Lift
O quanto a variante vencedora teve um desempenho melhor do que a outra variante. Calculado com base na métrica vencedora (ou seja, taxa de abertura, taxa de cliques (CR) ou taxa de pedidos). Para testes com 3+ variante, o teste com o segundo melhor desempenho é usado para comparação. - Métrica vencedora
Os resultados da variante vencedora para a métrica usada no teste. Por exemplo, se a taxa de abertura tiver sido escolhida como a métrica vencedora, a porcentagem da taxa de abertura será exibida.
Abaixo desses resultados, você pode revisar as taxas de abertura, clique e de pedidos feitos para cada variante no teste.
Como o lift é calculado
A porcentagem de lift é diferente da porcentagem mostrada para a sua variante vencedora. Isso acontece porque a porcentagem mostrada ao lado de cada variante é a porcentagem de pessoas que interagiram com o e-mail (abriram, clicaram, fizeram um pedido), enquanto o lift é a porcentagem de melhoria que a vencedora teve em relação à outra variante.
Por exemplo, se você estiver usando a taxa de cliques (CR) como sua métrica vencedora e a variante A tiver 5/100 (5%) destinatários clicando e a variante B tiver 4/100 (4%) destinatários clicando, a diferença entre as variantes é de 1 clique. Isso significa que o lift foi de 1/5 (20%). Ou seja, o lift foi de 20%, com a variante A tendo uma taxa de cliques de 5% e a variante B com uma taxa de cliques de 4%.
Resultados de variantes personalizadas
A opção de escolher uma estratégia de teste só está disponível para contas com mais de 400.000 perfis no total. Se a sua conta não se qualificar, a Klaviyo usará a estratégia de teste de variante vencedora.
Se você escolheu a opção de personalizar variantes para cada destinatário, verá métricas um pouco diferentes na página de resultados do teste, incluindo as seguintes:
- Elevação total do teste A/B
O quanto a melhor variante teve um desempenho melhor do que a segunda melhor variante. Calculado com base na métrica vencedora (ou seja, taxa de abertura ou taxa de cliques (CR)). - Impulso de personalização
Percentual de quanto o teste personalizado teve mais sucesso do que um teste A/B padrão. - Taxa de cliques (CR) de personalização
A taxa de cliques (CR) média entre todas as variantes de perfis que receberam sua variante preferida. - Características do perfil derivadas pelo Klaviyo AI
Uma lista dos dados usados pela AI para determinar um padrão entre perfis que preferiram uma variante específica, ou seja, quais fatores provavelmente fizeram com que alguém preferisse uma variante em vez da outra. Clique em cada variante para ver os dados usados, pois eles serão diferentes para cada variante.
Entendendo a confiança na vitória e a significância estatística
Digamos, por exemplo, que você queira ver se adicionar emojis à sua linha de assunto afeta sua taxa de abertura com a sua lista de e-mail. Se você enviar o teste apenas para 2 assinantes e os emojis tiverem uma taxa de abertura melhor, você não pode afirmar com certeza que o restante da sua lista de e-mail vai se sentir da mesma forma. Se, em vez disso, você testar com 100 pessoas na sua lista de e-mail e descobrir que os emojis têm uma taxa de abertura substancialmente maior, você se sentirá muito mais confiante de que usar emojis nas suas linhas de assunto é melhor para o seu público.
Em Probabilidade de vitória, você verá se a variante mostrada é estatisticamente significativa. Se ela for considerada significativa, isso significa que a variante tem uma alta probabilidade de vitória (ou seja, 90% ou mais). Um teste também pode ser promissor, inconclusivo ou não ser estatisticamente significativo. Saiba mais sobre significância estatística no Klaviyo.
Recursos adicionais
- Referência de práticas recomendadas para testes A/B
Aprenda as melhores práticas para usar os recursos de Testes A/B da Klaviyo para ajudar a otimizar sua comunicação com os clientes.
- Como fazer um teste A/B em um formulário de registro
Aprenda a usar Testes A/B para avaliar o desempenho de vários elementos dos seus formulários de registro. Ao analisar os resultados de forma eficaz, você pode garantir que seus formulários repercutam junto aos visitantes do site e contribuam para o crescimento da lista.
- Como fazer um teste A/B em um e-mail de fluxo
Saiba como usar a experiência de Testes A/B da Klaviyo para testar emails individuais em um fluxo, incluindo itens como linha de assunto, descontos e conteúdo do email, etc. Você pode até usar Testes A/B para determinar se emails de texto simples têm um desempenho melhor do que emails HTML com muitas imagens.
- Como fazer um teste A/B em uma campanha de e-mail
Saiba como configurar e executar um Testes A/B para uma campanha, como ler os resultados do teste e alguns casos de uso de Testes A/B em campanhas. O recurso de Testes A/B da Klaviyo para campanhas permite que você teste facilmente diferentes linha de assunto, conteúdo da mensagem e horário de envio para entender melhor o que funciona melhor para o seu público.