Entendendo a seção de experimentos
O que você vai aprender
Aprenda a analisar facilmente o sucesso dos seus testes A/B usando a seção de experimentos. A seção de experimentos reúne todos os testes A/B realizados em campanhas e fluxos e oferece insights sobre os elementos testados, os canais de marketing usados, as taxas de sucesso e outros dados.
Navegando até a aba de experimentos
Acesse Análises > Experimentos > testes A/B.
Depois que você estiver na seção Experimentos, verá a aba Campanhas por padrão. No entanto, você pode clicar entre a aba Campanhas e a aba Fluxos para revisar testes A/B específicos de cada um desses canais. Somente proprietários, administradores, gerentes e analistas têm acesso à seção de experimentos.
Somente proprietários, administradores, gerentes e analistas têm acesso à seção de experimentos.
Como usar as opções de pesquisa e configurações
Na parte superior da guia Campanhas ou da guia Fluxos, há opções para personalizar sua visualização de testes A/B e a capacidade de pesquisar um teste específico.
Pesquisando um teste
No campo de pesquisa no canto superior esquerdo, insira o nome do seu teste ou uma palavra-chave associada ao seu teste (por exemplo, “Testando boas-vindas para BFCM (Black Friday e Cyber Monday)” ou “boas-vindas”). Depois que você fizer uma pesquisa e pressionar Enter, sua visualização será reduzida a uma lista de resultados que correspondem aos seus critérios.
A funcionalidade de pesquisa é independente para as abas Campanhas e Fluxos. Em outras palavras, suas pesquisas serão limitadas a resultados em cada aba.
Ajuste as opções de configurações
Os menus suspensos na parte superior de cada guia oferecem mais maneiras de restringir e personalizar quais resultados de teste A/B você vê, seja para campanhas ou fluxos.
As alterações de configurações se aplicam apenas às abas Campanhas e fluxo de forma independente. Em outras palavras, quaisquer escolhas nesses menus suspensos serão limitadas aos resultados em cada aba.
Configurações de período
No menu suspenso em Período, você pode escolher revisar os resultados dos seus testes A/B a partir de:
- Hoje
Isso inclui todos os testes que tiveram uma data de início no último dia. - Últimos 7 dias
Isso inclui todos os testes cuja data de início foi nos últimos 7 dias. - Últimos 30 dias
Isso inclui todos os testes que tiveram uma data de início nos últimos 30 dias. - Últimos 90 dias
Isso inclui todos os testes executados ou que estão em execução nos últimos 90 dias. - Este ano
Isso inclui todos os testes que tiveram uma data de início dentro do ano-calendário atual até o momento. - No ano passado
Isso inclui todos os testes que tiveram uma data de início no ano civil anterior. Por exemplo, se atualmente é 2023, isso incluiria todos os testes com datas de início em 2022. - Todo o período
Isso inclui todos os testes que foram executados ou que estão em execução no momento.
Observe que "Todos os testes" nas definições acima inclui testes em execução no momento, encerrados ou cancelados.
Configurações do canal de marketing
No menu suspenso em Canal, você pode escolher restringir seus resultados a:
- Todos
Essa opção mostra testes A/B de e-mail e SMS. - E-mail
Esta opção mostra apenas testes A/B de e-mail. - SMS
Esta opção mostra apenas testes A/B de SMS.
Configurações de métrica
No menu suspenso em Métrica vencedora, você pode optar por restringir seus resultados àqueles que contenham apenas determinadas métricas vencedoras, incluindo:
- Taxa de abertura
Veja apenas os testes A/B que usam Taxa de abertura como a métrica vencedora. - Taxa de cliques (CR)
Veja apenas os testes A/B que usam Taxa de cliques (CR) como a métrica vencedora. - Taxa de pedidos
Veja apenas os testes A/B que usam a taxa de Placed order como métrica vencedora. - Tudo
Veja todas as opções de métricas vencedoras juntas (taxa de abertura,taxa de cliques (CR) e Pedido realizado).
Saiba mais sobre como configurar testes A/B para e-mails, SMS ou fluxos, incluindo qual métrica vencedora usar para suas necessidades específicas de teste.
Configurações de filtro
No menu suspenso em Mais filtros, você tem opções para restringir ainda mais tipos de teste específicos, incluindo:
- Tipo de teste (somente na guia Campanhas)
Neste menu suspenso secundário, escolha Todos para ver todos os tipos de teste. Caso contrário, escolha Teste de conteúdo para testes A/B relacionados ao conteúdo ou a elementos dos seus e-mails (por exemplo, testes executados usando diferentes textos de prévia e linhas de assunto) ou Teste de horário de envio para e-mails em que você testa o melhor horário de envio. - Status
Neste menu suspenso secundário, escolha Em andamento para ver apenas os testes A/B em execução no momento ou Concluído para ver os testes finalizados.
Se você quiser limpar qualquer resultado de pesquisa ou configuração que tenha ajustado, clique em Limpar.
Revisar os resultados do seu teste A/B coletados
Por padrão, as abas Campanhas e Fluxos vão reunir todos os testes A/B concluídos, em execução no momento ou cancelados.
A tabela não terá listagens individuais para variantes específicas de um teste A/B de e-mail, SMS ou fluxo. Em vez disso, os dados de cada campanha ou fluxo principal serão listados. Você pode clicar no próprio nome do teste na tabela para ver as variantes com mais detalhes.
Essas tabelas conterão as seguintes colunas:
- Nome do teste
O nome real da sua campanha. Para fluxos, em vez disso, será o nome do seu teste. Esta coluna também incluirá a métrica vencedora usada no teste para campanhas e fluxos.
Observe que, ao clicar no nome do teste, você será direcionado à página de resultados de Testes A/B para ver mais detalhes sobre suas variantes, dados e resultado do vencedor. - Canal
O canal de marketing que está sendo testado, seja SMS (conforme indicado pelo ícone de balão de fala) ou e-mail (conforme indicado pelo ícone de envelope).
Observe que, no momento, não é possível fazer testes A/B com notificação push. - Tipo de teste (somente na aba Campanhas)
Isso mostrará se o teste é um teste de conteúdo (indicado pelo ícone de lápis) ou um teste de horário de envio (indicado pelo ícone de relógio). - Data de início
Quando o teste A/B foi iniciado originalmente. - Tamanho do teste
Quantos perfis foram incluídos no teste A/B em todas as variantes. - Probabilidade de vitória
A chance de uma variante gerar melhores resultados com base em quanto ela supera a(s) outra(s) variante(s). Essa porcentagem representa uma dessas variantes.
Observe que uma variante de mensagem de fluxo é considerada estatisticamente significativa quando pelo menos 500 destinatários receberam cada variante, e a variante tem pelo menos 90% de probabilidade de vitória. Já uma campanha é considerada estatisticamente significativa quando pelo menos 50 destinatários receberam cada variante, e a variante tem pelo menos 90% de probabilidade de vitória. - Status
Um status verde indica que um teste foi concluído, e um status cinza indica que ele ainda está em andamento.
Por padrão, esta tabela será ordenada pelo teste iniciado mais recentemente. No entanto, você pode usar as setas ao lado de Nome do teste, Canal, Tipo de teste, Data de início ou Status para classificar em ordem crescente ou decrescente em cada uma dessas colunas.
Recursos adicionais
- Como fazer um teste A/B em uma campanha de e-mail
Saiba como configurar e executar um Testes A/B para uma campanha, como ler os resultados do teste e alguns casos de uso de Testes A/B em campanhas. O recurso de Testes A/B da Klaviyo para campanhas permite que você teste facilmente diferentes linha de assunto, conteúdo da mensagem e horário de envio para entender melhor o que funciona melhor para o seu público.
- Como fazer um teste A/B em um e-mail de fluxo
Saiba como usar a experiência de Testes A/B da Klaviyo para testar emails individuais em um fluxo, incluindo itens como linha de assunto, descontos e conteúdo do email, etc. Você pode até usar Testes A/B para determinar se emails de texto simples têm um desempenho melhor do que emails HTML com muitas imagens.
- Como testar A/B campanhas de SMS
Saiba como fazer testes A/B em campanhas de SMS e quais aspectos devem ser testados neste artigo.
- Entendendo a significância estatística em campanhas da Klaviyo
Saiba como identificar se um teste A/B é considerado estatisticamente significativo ou não. Por exemplo, se uma variante de campanha A tem taxa de abertura de 15% e a variante B tem taxa de abertura de 14%, como você sabe com certeza se a variante A ou B teve melhor desempenho?
- Como entender a significância estatística em fluxos
Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos nos fluxos do Klaviyo. Este artigo vai explicar a significância estatística para fluxos e quando ela é determinada.