O que você vai aprender
Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos para os formulários de inscrição da Klaviyo. Este guia explicará a significância estatística dos formulários de inscrição e quando ela é decidida.
O Klaviyo decide quando um teste A/B atingiu a significância estatística, uma vez que uma variação provou matematicamente ter um desempenho melhor do que outra. O senhor pode configurar um teste A/B para escolher automaticamente a variação de formulário vencedora e encerrar quando os resultados do teste forem considerados estatisticamente significativos.
Os testes A/B permitem que o senhor avalie o desempenho de diferentes elementos dos seus formulários para garantir que eles estejam repercutindo bem entre os visitantes do site e gerando um forte envolvimento. É importante entender se um teste pode ou não ser considerado estatisticamente significativo para que o senhor possa analisar os resultados com eficácia e determinar quais melhorias devem ser feitas. Se os resultados do teste não forem estatisticamente significativos, será mais difícil confirmar que uma variação específica gerará um desempenho aprimorado em escala.
Como o Klaviyo determina a significância estatística dos formuláriosComo o Klaviyo determina a significância estatística dos formulários
Para obter significância estatística, o teste A/B de um formulário de inscrição deve atender às seguintes condições:
- Um mínimo de 90% de probabilidade de vitória para a variação principal
- Um mínimo de 1.000 visualizações de formulário por variação
Veja abaixo uma explicação mais detalhada de como a Klaviyo considera cada um desses fatores.
- Probabilidade de ganho da variação principal
- Essa é a probabilidade de que a taxa de envio de formulários para a variação principal seja realmente maior do que a taxa de envio de formulários para todas as outras variações. A alta probabilidade de vitória significa que há fortes evidências de que a variação principal vencerá devido ao fato de a forma ser melhor, e não devido ao acaso.
- Visualizações de formulários
- Um formulário precisa coletar um grande número de visualizações para garantir que os resultados não sejam distorcidos por anomalias no início do teste.
Encerrar um teste A/B depois que a significância estatística for alcançada
Na configuração Winner Selection (Seleção do vencedor ), o senhor pode configurar o teste para terminar automaticamente quando houver uma variação que supere a(s) outra(s) em um nível estatisticamente significativo ou quando atingir uma data específica. Ou o senhor pode selecionar as duas caixas para encerrar o teste quando uma das duas condições for atendida (ou seja, o teste atinge a significância estatística ou chega à data final).
Como alternativa, se o senhor optar por encerrar o teste manualmente, desmarcando as duas caixas em Winner Selection (Seleção do vencedor), será necessário monitorar os resultados independentemente e escolher manualmente o vencedor e a data de encerramento.
Ao visualizar os resultados de um teste em andamento, o senhor pode monitorar a probabilidade de vitória, bem como os dados atuais de cada variação no menu Overview (Visão geral ) da guia A/B test results (Resultados do teste A/B ).
Para obter mais detalhes, consulte nosso guia sobre como analisar os resultados de testes A/B.
Recursos adicionais