Entendendo a seção de experimentos
O que você vai aprender
Aprenda a analisar o sucesso dos seus testes A/B usando a seção de experimentos. A seção de experimentos reúne testes A/B de campanha e de fluxo e oferece insights sobre os elementos testados, os canais de marketing usados, as taxas de sucesso e outros dados.
Navegando até a seção de experimentos
Proprietários, administradores, gerentes e analistas têm acesso à seção de experimentos.
Navegue até Análises > Experimentos. Se a página mostrar abas, selecione testes A/B.
A visualização de Campanhas abre por padrão. Selecione Fluxos para revisar testes A/B de fluxo ou Campanhas para voltar aos testes A/B de campanhas.
Como usar as opções de pesquisa e configurações
Na parte superior da visualização de Campaigns ou fluxos, há opções para personalizar a visualização dos seus testes A/B e a possibilidade de pesquisar um teste específico.
Pesquisando um teste
No campo de pesquisa, digite o nome de uma campanha ou o nome de um teste de fluxo, ou uma palavra-chave nesse nome (por exemplo, “Testando BFCM (Black Friday e Cyber Monday) de boas-vindas” ou “boas-vindas”). Os resultados são atualizados conforme você digita.
A funcionalidade de pesquisa é independente nas visualizações de Campanhas e fluxos. Em outras palavras, suas pesquisas serão limitadas aos resultados de cada visualização.
Ajuste as opções de configurações
Use os filtros na parte superior de cada visualização para restringir os resultados do teste A/B. Se um filtro não estiver visível, clique no ícone de filtro para abrir Mais filtros.
As alterações nas configurações se aplicam apenas às visualizações de Campaigns e Fluxos de forma independente. Em outras palavras, qualquer escolha nesses menus suspensos vai se limitar aos resultados em cada visualização.
Configurações de período
No menu suspenso em Período, você pode escolher revisar os resultados do seu teste A/B a partir de:
- Hoje
Isso inclui testes com data de início hoje, usando UTC. - Últimos 7 dias
Isso inclui todos os testes cuja data de início foi nos últimos 7 dias. - Últimos 30 dias
Isso inclui todos os testes que tiveram uma data de início nos últimos 30 dias. - Últimos 90 dias
Isso inclui testes com uma data de início nos últimos 90 dias. - Este ano
Isso inclui todos os testes que tiveram uma data de início dentro do ano-calendário atual até o momento. - No ano passado
Isso inclui todos os testes que tiveram uma data de início no ano civil anterior. Por exemplo, se atualmente é 2023, isso incluiria todos os testes com datas de início em 2022. - Todo o período
Isso inclui todos os testes que foram executados ou que estão em execução no momento.
O intervalo de datas pode incluir testes em andamento e concluídos, além de testes de campanha cancelados.
Configurações do canal de marketing
No menu suspenso em Canal, você pode escolher restringir seus resultados a:
- E-mail
Esta opção mostra apenas testes A/B de e-mail. - mensagem de texto
Esta opção mostra apenas testes A/B de SMS.
Se a sua visualização de fluxo incluir notificação push ou WhatsApp no filtro canal, selecione um deles para ver os testes desse canal.
Para ver testes em todos os canais, limpe o filtro Canal.
Configurações de métrica
No menu suspenso em Métrica vencedora, você pode optar por restringir seus resultados àqueles que contenham apenas determinadas métricas vencedoras, incluindo:
- Taxa de abertura
Veja apenas os testes A/B que usam Taxa de abertura como a métrica vencedora. - Taxa de cliques (CR)
Veja apenas os testes A/B que usam Taxa de cliques (CR) como a métrica vencedora. - Taxa de pedidos feitos
Na visualização de Campanhas, veja apenas os testes A/B que usam a taxa de pedidos feitos como a métrica vencedora.
Para ver os testes independentemente da métrica vencedora, limpe o filtro Métrica vencedora.
Saiba mais sobre como configurar testes A/B para e-mails, SMS ou fluxos, incluindo qual métrica vencedora usar para suas necessidades específicas de teste.
Outras configurações de filtro
Use estes filtros para refinar ainda mais os resultados:
- Tipo de teste (somente na visualização de Campanhas)
Escolha Teste de conteúdo para testes A/B do conteúdo da mensagem ou de elementos dos seus e-mails (por exemplo, texto de pré-visualização e linhas de assunto diferentes) ou Teste de horário de envio para testes dos horários de envio da mensagem. Limpe este filtro para ver os dois tipos. - Status
Escolha Em andamento para ver testes A/B em execução ou Concluído para ver testes finalizados. - Significância estatística
Selecione É estatisticamente significativo ou Não é estatisticamente significativo para filtrar se o teste atingiu significância estatística.
Clique em Limpar para redefinir a pesquisa e os filtros na visualização atual. Isso também restaura a seleção inicial de Período: Últimos 90 dias ou Todo o período se não houve testes nesse período.
Revisar os resultados do seu teste A/B coletados
Ambas as visualizações usam inicialmente Últimos 90 dias. Se nenhum teste for encontrado nesse período, a visualização muda para Todo o período. Selecione Todo o período para procurar testes mais antigos. Os resultados incluem testes em andamento e concluídos, além de testes de campanha cancelados, que correspondem aos seus filtros. Testes em rascunho e testes do Smart Send Time não são incluídos.
As tabelas listam testes A/B em vez de variantes individuais. Um fluxo pode ter vários testes. Clique no nome de uma campanha ou de um teste para ver as variantes com mais detalhes.
Estas tabelas contêm as seguintes colunas:
- Nome da campanha ou Nome do teste
A visualização Campanhas mostra o nome da campanha. Se uma mensagem da campanha tiver um nome diferente, ela aparece depois do nome da campanha. A visualização de fluxos mostra o nome do teste. As duas visualizações mostram a métrica vencedora abaixo do nome.
Clique em um nome para abrir os resultados do teste A/B e revisar as variantes, os dados e o resultado da vitória. - Canal
O canal de marketing que está sendo testado, como mensagem de texto (mostrada com um ícone de balão de fala) ou e-mail (mostrado com um ícone de envelope). - Tipo de teste (somente na visualização Campanhas)
Isso mostrará se o teste é um teste de conteúdo (conforme indicado pelo ícone de lápis) ou um teste de horário de envio (conforme indicado pelo ícone de relógio). - Data de início
Quando o teste A/B foi iniciado originalmente. - Data de término (somente na visualização de fluxo)
Quando o teste terminou. Um traço aparece se ele não tiver terminado. - Tamanho do teste
Quantos perfis foram incluídos no teste A/B em todas as variantes. - Probabilidade de vitória
A probabilidade de uma variante superar as outras variantes na métrica de vitória escolhida.
A probabilidade de vitória por si só não estabelece significância estatística. Para campanhas, cada variante deve ter mais de 50 destinatários, e uma variante deve ter probabilidade de vitória maior que 90%. Para testes de fluxo, a Klaviyo também verifica o engajamento e o quão claramente os resultados das variantes diferem, além do tamanho da amostra. Veja significância estatística em fluxos e significância estatística em campanhas para ver os critérios completos. - Status
Concluído para um teste finalizado, Em andamento para um teste em execução ou Cancelado para um teste de campanha cancelado.
Por padrão, a tabela ordena pelo teste iniciado mais recentemente. Use as setas ao lado de Nome da campanha ou Nome do teste, Canal, Data de início, Tamanho do teste, Probabilidade de vitória ou Status para ordenar em ordem crescente ou decrescente. Você também pode ordenar por Tipo de teste na visualização Campanhas e por Data de término na visualização do fluxo.
Recursos adicionais
- Como fazer um teste A/B em uma campanha de e-mail
Saiba como configurar e executar um Testes A/B para uma campanha, como ler os resultados do teste e alguns casos de uso de Testes A/B em campanhas. O recurso de Testes A/B da Klaviyo para campanhas permite que você teste facilmente diferentes linha de assunto, conteúdo da mensagem e horário de envio para entender melhor o que funciona melhor para o seu público.
- Como fazer um teste A/B em um e-mail de fluxo
Saiba como usar a experiência de Testes A/B da Klaviyo para testar emails individuais em um fluxo, incluindo itens como linha de assunto, descontos e conteúdo do email, etc. Você pode até usar Testes A/B para determinar se emails de texto simples têm um desempenho melhor do que emails HTML com muitas imagens.
- Como testar A/B campanhas de SMS
Saiba como fazer testes A/B em campanhas de SMS e quais aspectos devem ser testados neste artigo.
- Entendendo a significância estatística em campanhas da Klaviyo
Saiba como identificar se um teste A/B é considerado estatisticamente significativo ou não. Por exemplo, se uma variante de campanha A tem taxa de abertura de 15% e a variante B tem taxa de abertura de 14%, como você sabe com certeza se a variante A ou B teve melhor desempenho?
- Como entender a significância estatística em fluxos
Saiba quando os resultados de um teste A/B são considerados estatisticamente significativos nos fluxos do Klaviyo. Este artigo vai explicar a significância estatística para fluxos e quando ela é determinada.