Entendendo a significância estatística em campanhas da Klaviyo

O que você vai aprender

Aprenda a identificar se um teste A/B é estatisticamente significativo. Por exemplo, se a variante A da campanha tem uma taxa de abertura de 15% e a variante B tem uma taxa de abertura de 14%, como você sabe qual variante teve o melhor desempenho?

Observação sobre o Mail Privacy Protection da Apple

Com o lançamento do iOS 15, macOS Monterey, iPadOS 15 e watchOS 8, o sistema de proteção de privacidade da Apple mudou a maneira como recebemos dados sobre sua taxa de abertura de e-mail, já que o pixel de rastreamento agora é pré-carregado.Com essa mudança, é importante entender que as taxas de abertura parecerão infladas.

As aberturas do MPP são incluídas quando um teste A/B usa a taxa de abertura como métrica vencedora. A significância estatística não comprova que os destinatários abriram o e-mail intencionalmente. Considere a taxa de cliques (CR) se o MPP tornar os resultados de taxa de abertura difíceis de interpretar. Para entender como o MPP afeta seu público, crie um relatório personalizado que inclua uma propriedade do MPP. Você também pode identificar essas aberturas nos seus segmentos de assinantes individuais.

Para obter informações completas sobre a abertura de MPP, visite nosso guia iOS 15: como se preparar para as mudanças da Apple.

Categorias de significância estatística

A significância estatística indica uma forte evidência de que uma variante tem um desempenho melhor do que as outras para a métrica vencedora escolhida por você. Para campanhas, a Klaviyo avalia tanto o tamanho do público quanto a probabilidade de vitória: a probabilidade estimada de que uma variante tenha a taxa mais alta para essa métrica, com base nos dados do teste.

Ao fazer Testes A/B, você deve evitar qualquer fator que possa influenciar significativamente seu público; por exemplo, não faça um novo teste perto de um fim de semana de feriado, quando seu público tem muito mais probabilidade de procurar seus e-mails.

Quando se trata de campanhas de Testes A/B, há 4 categorias de significância estatística:

• Estatisticamente significativo
• Promissor
• Estatisticamente não significativo
• Inconclusivo

Para analisar seus resultados, abra o relatório da campanha e selecione Resultados do teste A/B. Depois que o teste for concluído, procure em Probabilidade de vitória. Se Resultados do período de teste e Resultados contínuos estiverem disponíveis, selecione Resultados do período de teste para avaliar os dados coletados antes de o vencedor ser selecionado. Resultados contínuos incluem a atividade posterior dos destinatários do teste.

Estatisticamente significativo

O rótulo Estatisticamente significativo no seu teste A/B significa que uma variante tem alta probabilidade de ter um desempenho melhor do que a(s) outra(s) opção(ões) para a métrica escolhida, com base nos dados do teste. Você pode usar o que aprendeu para orientar envios futuros, mas o resultado não garante o mesmo desfecho com um público, uma mensagem ou um horário de envio diferentes.

Para campanhas da Klaviyo, um resultado de teste A/B é considerado estatisticamente significativo quando:

• Cada variante tem mais de 50 entregas bem-sucedidas para e-mail ou mais de 50 destinatários para SMS.
• A probabilidade de vitória é maior que 90%.

Esses critérios combinam o tamanho do público com a confiança no resultado para a métrica vencedora que você escolheu: taxa de abertura, taxa de cliques (CR) ou taxa de pedidos. A probabilidade de vitória exibida é arredondada; por isso, use o rótulo do resultado ou o alerta ao interpretar um valor próximo de um limite.

Por exemplo, digamos que você esteja testando se um emoji na linha de assunto afeta a taxa de abertura. Os resultados mostram que a variante com o emoji venceu e tem o rótulo de Estatisticamente significativo. Isso dá suporte ao uso do emoji em envios semelhantes para esse público, mas não comprova que os emojis vão melhorar consistentemente as taxas de abertura em toda campanha.

No entanto, você sempre deve usar seu bom senso ao agir com base nos resultados do teste. Se você estiver enviando uma mensagem mais séria ou sóbria, por exemplo, talvez não seja apropriado usar um emoji.

Promissor

Quando os resultados são promissores, uma variante parece ter um desempenho melhor do que a(s) outra(s), mas a evidência do teste por si só não é forte o suficiente. Resultados promissores não têm um rótulo de significância. Para um teste concluído, um alerta recomenda repetir o teste. Se Resultados do período de teste estiver disponível, procure esse alerta lá. Se uma variante diferente estiver na liderança em Resultados contínuos, será exibido um alerta sobre a mudança de vencedora.

Para ter um resultado promissor, realize outro teste A/B semelhante para verificar se o resultado se mantém. Voltando ao exemplo do emoji, resultados promissores repetidos podem sugerir um padrão, mas, por si só, não confirmam significância estatística. Use-os para orientar novos testes, em vez de presumir que os emojis vão melhorar todas as campanhas.

Para campanhas, um resultado de teste A/B é considerado promissor quando:

• Cada variante tem mais de 50 entregas bem-sucedidas para e-mail ou mais de 50 destinatários para SMS.
• A probabilidade de vitória é maior que 75% e menor ou igual a 90%.

Estatisticamente não significativo

Um resultado sem significância estatística significa que o teste não fornece evidências fortes o suficiente de que a variante líder tem melhor desempenho. Uma variante ainda pode ser selecionada como vencedora mesmo quando o resultado não tem significância estatística.

No nosso exemplo, isso pode significar que a variante com emoji venceu a(s) variante(s) sem emoji, mas apenas por uma margem muito pequena; insuficiente para que o resultado do teste seja significativo.

Nesse caso, recomendamos testar novamente esse fator mais 2 ou 3 vezes e ficar de olho nos resultados.

Se você continuar vendo que o resultado do teste é considerado não estatisticamente significativo, não continue testando; em vez disso, passe para Testes A/B de um tópico diferente. Se um teste se enquadrar nessa categoria, um rótulo Não estatisticamente significativo aparecerá na página de resultados do teste A/B.

Para campanhas, cada variante deve ter mais de 50 entregas bem-sucedidas por e-mail ou mais de 50 destinatários por SMS antes que um resultado possa ser classificado como não estatisticamente significativo. Depois que esse mínimo for atingido, qualquer uma destas condições se qualifica:

• A probabilidade de vitória é de 75% ou menos, e cada variante tem mais de 1.800 entregas bem-sucedidas de e-mail ou mais de 1.800 destinatários para SMS.
• A probabilidade de vitória está abaixo de 60%, e a diferença na métrica vencedora entre as variantes em primeiro e segundo lugar é menor que 4 pontos percentuais.

Inconclusivo

Se um teste for inconclusivo, não há informações suficientes para determinar se uma variante tem um desempenho melhor. Se alguma variante tiver 50 ou menos entregas bem-sucedidas para e-mail, ou 50 ou menos destinatários para SMS, o resultado será inconclusivo, independentemente da probabilidade de vitória. Os resultados que não atendem aos critérios de nenhuma das outras categorias também são inconclusivos. Você pode visualizar as categorias usando a árvore de decisão na próxima seção. Testes inconclusivos não exibem um rótulo de significância estatística na página de resultados.

Nesse caso, talvez você queira expandir seu público-alvo para quaisquer testes de acompanhamento. Se você tiver um grupo pequeno com o qual está fazendo testes, interprete os resultados como achar melhor e teste novamente para confirmar que o que você encontrou é preciso. Além disso, foque em aprender mais sobre seus assinantes por outros meios; por exemplo, pesquisas, enquetes etc.

Árvore de decisão de significância estatística

A árvore de decisão a seguir mostra quando um teste A/B se encaixará em cada categoria. As linhas verdes indicam que a resposta é "sim", enquanto as vermelhas representam "não".

Recursos adicionais