Entendendo a significância estatística em campanhas da Klaviyo

O que você vai aprender

Saiba como identificar se um teste A/B é considerado estatisticamente significativo ou não. Por exemplo, se uma variante de campanha A tem taxa de abertura de 15% e a variante B tem taxa de abertura de 14%, como você sabe com certeza se a variante A ou B teve melhor desempenho?

Observação sobre o Mail Privacy Protection da Apple

Com o lançamento do iOS 15, macOS Monterey, iPadOS 15 e WatchOS 8, o sistema de proteção de privacidade da Apple mudou a maneira como recebemos dados sobre sua taxa de abertura de e-mail, já que o pixel de rastreamento agora é pré-carregado. Com essa mudança, é importante entender que as taxas de abertura parecerão infladas.

Com relação aos Testes A/B, esperamos que nossas ferramentas considerem essas taxas de abertura infladas; no entanto, talvez você precise de um limite mais alto para atingir significância estatística. Se você faz Testes A/B com frequência E tem mais de ~45% das aberturas no Apple Mail, sugerimos criar um relatório personalizado que inclua uma propriedade de MPP. Você também pode identificar essas aberturas nos seus segmentos individuais de assinantes.

Para obter informações completas sobre a abertura de MPP, visite nosso guia iOS 15: como se preparar para as mudanças da Apple.

Categorias de significância estatística

Significância estatística é quando a Klaviyo consegue determinar matematicamente se uma variante vai gerar um desempenho melhor. Em campanhas, a Klaviyo observa tanto o número de pessoas que receberam uma mensagem quanto a probabilidade de vitória, que indica a chance de uma variante gerar melhores resultados com base no quanto ela supera a(s) outra(s) variante(s).

Ao fazer Testes A/B, você deve evitar qualquer fator que possa influenciar significativamente seu público; por exemplo, não faça um novo teste perto de um fim de semana de feriado, quando seu público tem muito mais probabilidade de procurar seus e-mails.

Quando se trata de Testes A/B em campanhas, existem quatro categorias de significância estatística:

• Estatisticamente significativo
• Promissor
• Estatisticamente não significativo
• Inconclusivo

Nas próximas seções, vamos explicar quando um teste se encaixa em cada uma dessas categorias.

Estatisticamente significativo

A tag de significância estatística no seu teste A/B significa que uma determinada variante do seu teste tem alta probabilidade de ganhar da(s) outra(s) opção(ões). Isso também indica que você conseguiria reproduzir os resultados e poderia aplicar o que aprendeu aos seus próximos envios.

Para campanhas da Klaviyo, um resultado de teste A/B é considerado estatisticamente significativo quando:

• 50 pessoas receberam cada variante.
• A probabilidade de ganho é de pelo menos 90%.

Isso garante que uma amostra grande o suficiente de destinatários tenha visto o teste A/B e que a variante vencedora tenha superado amplamente a(s) outra(s) na métrica de vitória escolhida (que, para campanhas, é a taxa de abertura, a taxa de cliques (CR) ou a taxa de pedidos realizados).

Por exemplo, digamos que você esteja testando se um emoji na linha de assunto afeta ou não a taxa de abertura. Os resultados do teste mostram que a variante vencedora é a que tem o emoji e há uma tag verde de significância estatística. Nesse caso, você pode ter confiança de que uma linha de assunto com um emoji terá um desempenho melhor de forma consistente do que uma sem: e não há necessidade de retestar.

No entanto, você sempre deve usar seu bom senso ao agir com base nos resultados do teste. Se você estiver enviando uma mensagem mais séria ou sóbria, por exemplo, talvez não seja apropriado usar um emoji.

Promissor

Quando os resultados são promissores, uma variante parece estar com um desempenho melhor do que a(s) outra(s), mas as evidências do teste por si só não são fortes o suficiente. Se um teste for considerado promissor, nenhuma tag aparecerá indicando isso; no entanto, você verá um alerta informando que deve executar o teste novamente.

Para um resultado de teste promissor, você deve realizar outro teste A/B para ter mais certeza. Por exemplo, voltando ao exemplo de emoji acima, se os resultados forem promissores, faça este teste novamente. Se você continuar vendo resultados promissores a favor do emoji após vários testes A/B, você pode confiar que emojis têm um impacto pequeno, mas positivo, no seu público e deve continuar usando-os em campanhas.

Para campanhas, um resultado de teste A/B é considerado promissor quando:

• 50 pessoas receberam cada variante.
• A probabilidade de ganho está entre 75% e 89%.

Estatisticamente não significativo

Se algo não for estatisticamente significativo, uma variante vence a(s) outra(s) no teste por uma margem pequena, e talvez você não consiga replicar o resultado em um teste posterior.

No nosso exemplo, isso pode significar que a variante com emoji venceu a(s) variante(s) sem emoji, mas apenas por uma margem muito pequena; insuficiente para que o resultado do teste seja significativo.

Nesse caso, recomendamos testar novamente esse fator mais 2 ou 3 vezes e ficar de olho nos resultados.

Se você continuar vendo que o resultado do teste é considerado não estatisticamente significativo, não continue testando; em vez disso, passe para os Testes A/B de um tópico diferente. Se um teste se enquadrar nessa categoria, uma tag cinza com o texto Não estatisticamente significativo aparecerá na página de resultados do teste A/B.

Para campanhas, um resultado de teste A/B é considerado não estatisticamente significativo quando:

• A probabilidade é menor que 75% e pelo menos 1.800 pessoas receberam cada variante.
  Ou
• Menos de 1.800 receberam cada variante, a diferença percentual entre a variante líder e a variante em segundo lugar é de 4% ou menos, e a probabilidade de vitória é inferior a 60%.

Inconclusivo

Se um teste for inconclusivo, isso significa que não há informações suficientes para determinar se algo é estatisticamente significativo. Se os resultados do teste não corresponderem a nenhum dos critérios das opções acima, ele entrará no grupo de inconclusivos. Você pode visualizar isso usando a árvore de decisão mostrada na próxima seção. Observe que testes inconclusivos não exibirão uma tag indicando se o teste foi ou não estatisticamente significativo na página de resultados.

Nesse caso, talvez você queira ampliar seu público para quaisquer testes de acompanhamento. Se você tiver um grupo pequeno com o qual está testando, interprete os resultados como achar melhor e faça um novo teste para verificar se o que você encontrou está correto. Além disso, foque em aprender sobre seus assinantes por outros meios, por exemplo: pesquisas, enquetes etc.

Árvore de decisão de significância estatística

A árvore de decisão a seguir mostra quando um teste A/B se encaixará em cada categoria. As linhas verdes indicam que a resposta é "sim", enquanto as vermelhas representam "não".

Recursos adicionais