Compreensão da significância estatística em fluxos

Estimado 3 min de leitura
|
Atualizado 10 de out. de 2024, 12:32 EST
O que você vai aprender

O que você vai aprender

Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos nos fluxos da Klaviyo. Este artigo explicará a significância estatística dos fluxos e quando ela é decidida.

Significância estatística é quando o Klaviyo é matematicamente capaz de determinar se uma variação produzirá um desempenho melhor. O senhor pode configurar um teste A/B de fluxo para escolher automaticamente uma variação vencedora quando os resultados do teste forem considerados estatisticamente significativos.

Os testes A/B são fundamentais para promover um melhor envolvimento e aprimorar o relacionamento com os clientes por meio de uma abordagem orientada por dados. É importante entender se o teste pode ser considerado estaticamente significativo ou não. Por exemplo, se um e-mail de fluxo tiver duas variações, e a variação A tiver uma taxa de cliques de 15%, enquanto a variação B tiver uma taxa de cliques de 14%, como o senhor saberá com certeza se a variação A ou B teve um desempenho melhor?

Como o Klaviyo determina a significância estatística nos fluxos

Como o Klaviyo determina a significância estatística nos fluxos

Para os fluxos, o Klaviyo observa o número de pessoas que receberam uma mensagem e a probabilidade de vitória, que é a probabilidade de uma variação produzir melhores resultados com base no desempenho superior ao de outras variações.

A variação de uma mensagem de fluxo é considerada estatisticamente significativa quando:

  • Pelo menos 500 destinatários receberam cada variação.
  • Uma variação tem pelo menos 90% de probabilidade de vitória.

A probabilidade de ganho é calculada com base na métrica que o senhor escolheu ao configurar o teste A/B. Por padrão, essa métrica é a taxa de cliques da mensagem que o senhor está testando. Na seção Automatic Winner Selection (Seleção automática do vencedor ), o usuário tem a opção de encerrar automaticamente o teste assim que uma variação de mensagem for determinada como vencedora com base na métrica configurada, bem como a opção de encerrar o teste assim que uma data específica for atingida. O senhor pode selecionar uma ou ambas as opções. Se ambos forem selecionados, o teste será encerrado com base no que for atingido primeiro, a significância estatística ou a data especificada.

Para obter mais detalhes, consulte nosso artigo sobre como fazer um teste A/B em um e-mail de fluxo.

O modal de seleção do vencedor tem opções para selecionar a métrica vencedora (taxa de cliques/taxa de abertura), bem como ativar/desativar a seleção automática do vencedor.

Ao visualizar os resultados de um teste em execução no momento, o usuário verá a probabilidade de vitória na barra lateral de detalhes à direita, na seção de teste A/B. Aqui, o senhor verá se os resultados do teste são estatisticamente significativos e qual variação provavelmente terá melhor desempenho.

A seção de teste A/B mostra que a variação B tem a maior probabilidade de vitória

Para obter mais detalhes, consulte nosso artigo sobre como analisar os resultados de testes A/B de e-mail para fluxos.

 

Recursos adicionais

Recursos adicionais

Confira nosso artigo sobre as práticas recomendadas para testes A/B

Saiba mais sobre outros testes A/B que o senhor pode executar:

Esse artigo foi útil?
Use esse formulário somente para dar feedback sobre os artigos. Saiba como entrar em contato com o suporte.

Saiba mais sobre a Klaviyo

Community
Conecte-se com colegas, parceiros e especialistas da Klaviyo para ter ideias, compartilhar insights e tirar dúvidas.
Treinamentos ao vivo
Participe de uma sessão ao vivo com especialistas da Klaviyo para conhecer práticas recomendadas, saber como configurar os principais recursos e muito mais.
Suporte

Acesse o suporte na sua conta.

Suporte por e-mail (teste gratuito e contas pagas) Disponível 24 horas

Chat/assistência virtual
A disponibilidade varia conforme o local e o tipo de plano