Como entender a significância estatística em fluxos
Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos nos fluxos do Klaviyo. Este artigo vai explicar a significância estatística para fluxos e quando ela é determinada.
Significância estatística é quando a Klaviyo consegue determinar matematicamente se uma variante vai gerar um desempenho melhor. Você pode configurar um teste A/B de fluxo para escolher automaticamente uma variante vencedora quando os resultados do teste forem considerados estatisticamente significativos.
Testes A/B são essenciais para gerar melhor engajamento e melhorar seu relacionamento com os clientes por meio de uma abordagem orientada por dados. É importante entender se o teste pode ser considerado estatisticamente significativo ou não. Por exemplo, se um e-mail de fluxo tem 2 variantes e a variante A tem uma taxa de cliques (CR) de 15% enquanto a variante B tem uma taxa de cliques (CR) de 14%, como você sabe com certeza se a variante A ou B teve um desempenho melhor?
Como a Klaviyo determina a significância estatística em fluxos
Para fluxos, a Klaviyo observa tanto o número de pessoas que receberam uma mensagem quanto a probabilidade de vitória, que indica a chance de uma variante gerar melhores resultados com base em quanto ela supera a(s) outra(s) variante(s).
Uma variante de mensagem de fluxo é considerada estatisticamente significativa quando:
- Pelo menos 500 destinatários receberam cada variante.
- Uma variante tem pelo menos 90% de probabilidade de vitória.
- As principais variantes são claramente separadas: só exibimos significância estatística quando as faixas prováveis de desempenho da variante líder e da segunda colocada têm pouca sobreposição (<10% de sobreposição em intervalos críveis).
A probabilidade de vitória é calculada com base na métrica que você escolheu ao configurar o teste A/B. Por padrão, essa métrica é a taxa de cliques (CR) da mensagem que você está testando. Na seção Seleção automática do vencedor, você tem a opção de encerrar automaticamente o teste assim que uma variante de mensagem for determinada como vencedora com base na métrica configurada, além da opção de encerrar o teste quando uma data específica for atingida. Você pode selecionar uma ou ambas as opções. Se ambas forem selecionadas, o teste será encerrado com base no que ocorrer primeiro: significância estatística ou a data especificada.
Para mais detalhes, consulte nosso artigo sobre como fazer um teste A/B em um e-mail de fluxo.
Ao visualizar os resultados de um teste em execução ou já concluído, você verá a probabilidade de vitória na seção teste A/B. Aqui, você verá se os resultados do teste são estatisticamente significativos e qual variante tem maior probabilidade de ter um desempenho melhor.
Para mais detalhes, consulte nosso artigo sobre como revisar resultados de testes A/B de e-mail para fluxos.
Recursos adicionais
- Referência de práticas recomendadas para testes A/B
Aprenda as melhores práticas para usar os recursos de Testes A/B da Klaviyo para ajudar a otimizar sua comunicação com os clientes.
Saiba mais sobre outros testes A/B que o senhor pode executar:
- Como fazer um teste A/B em um e-mail de fluxo
Saiba como usar a experiência de Testes A/B da Klaviyo para testar emails individuais em um fluxo, incluindo itens como linha de assunto, descontos e conteúdo do email, etc. Você pode até usar Testes A/B para determinar se emails de texto simples têm um desempenho melhor do que emails HTML com muitas imagens.
- Como fazer um teste A/B em uma campanha de e-mail
Saiba como configurar e executar um Testes A/B para uma campanha, como ler os resultados do teste e alguns casos de uso de Testes A/B em campanhas. O recurso de Testes A/B da Klaviyo para campanhas permite que você teste facilmente diferentes linha de assunto, conteúdo da mensagem e horário de envio para entender melhor o que funciona melhor para o seu público.
- Como fazer um teste A/B em um formulário de registro
Aprenda a usar Testes A/B para avaliar o desempenho de vários elementos dos seus formulários de registro. Ao analisar os resultados de forma eficaz, você pode garantir que seus formulários repercutam junto aos visitantes do site e contribuam para o crescimento da lista.