Compreensão da significância estatística em fluxos

Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos nos fluxos da Klaviyo. Este artigo explicará a significância estatística dos fluxos e quando ela é decidida.

Significância estatística é quando o Klaviyo é matematicamente capaz de determinar se uma variação produzirá um desempenho melhor. O senhor pode configurar um teste A/B de fluxo para escolher automaticamente uma variação vencedora quando os resultados do teste forem considerados estatisticamente significativos.

Os testes A/B são fundamentais para promover um melhor envolvimento e aprimorar o relacionamento com os clientes por meio de uma abordagem orientada por dados. É importante entender se o teste pode ser considerado estaticamente significativo ou não. Por exemplo, se um e-mail de fluxo tiver duas variações, e a variação A tiver uma taxa de cliques de 15%, enquanto a variação B tiver uma taxa de cliques de 14%, como o senhor saberá com certeza se a variação A ou B teve um desempenho melhor?

Como o Klaviyo determina a significância estatística nos fluxos

Para os fluxos, o Klaviyo observa o número de pessoas que receberam uma mensagem e a probabilidade de vitória, que é a probabilidade de uma variação produzir melhores resultados com base no desempenho superior ao de outras variações.

A variação de uma mensagem de fluxo é considerada estatisticamente significativa quando:

• Pelo menos 500 destinatários receberam cada variação.
• Uma variação tem pelo menos 90% de probabilidade de vitória.
• As principais variantes estão claramente separadas: só exibimos a significância estatística quando os intervalos de desempenho prováveis da variante líder e da segunda colocada têm uma sobreposição muito pequena (<10% sobreposição em intervalos confiáveis)

A probabilidade de ganho é calculada com base na métrica que o senhor escolheu ao configurar o teste A/B. Por padrão, essa métrica é a taxa de cliques da mensagem que o senhor está testando. Na seção Automatic Winner Selection (Seleção automática do vencedor ), o usuário tem a opção de encerrar automaticamente o teste assim que uma variação de mensagem for determinada como vencedora com base na métrica configurada, bem como a opção de encerrar o teste assim que uma data específica for atingida. O senhor pode selecionar uma ou ambas as opções. Se ambos forem selecionados, o teste será encerrado com base no que for atingido primeiro, a significância estatística ou a data especificada.

Para obter mais detalhes, consulte nosso artigo sobre como fazer um teste A/B em um e-mail de fluxo.

Ao visualizar os resultados de um teste em execução ou concluído, o usuário verá a probabilidade de vitória na seção de teste A/B. Aqui, o senhor verá se os resultados do teste são estatisticamente significativos e qual variante provavelmente terá melhor desempenho.

Para obter mais detalhes, consulte nosso artigo sobre como analisar os resultados de testes A/B de e-mail para fluxos.

Recursos adicionais