Guia de introdução aos grupos de holdout global

O que você vai aprender

Saiba como usar grupos de holdout global para entender o impacto e a eficácia do seu marketing. Os grupos de holdout global oferecem uma forma de excluir alguns perfis das suas mensagens para determinar o sucesso incremental do seu programa de marketing. Esses grupos de holdout permitem que você compare e analise o valor base dos seus programas de marketing, além de identificar maneiras de otimizar essas estratégias continuamente.

Antes de começar

Você precisa ter pelo menos 400.000 perfis (observe que essa é a contagem total de perfis) para se qualificar para grupos de holdout. Isso garante que a Klaviyo tenha dados de perfil suficientes para comparar o grupo de holdout com seus outros perfis que estão recebendo marketing. Também recomendamos que você execute grupos de holdout por 3 meses para coletar dados suficientes.

Saiba mais sobre quando usar ou quando não usar grupos de holdout.

Como usar grupos de holdout adequadamente

Como usar grupos de holdout

Os grupos de holdout devem ser usados quando você quiser testar a eficácia dos seus programas de marketing e, possivelmente, quaisquer mudanças que você possa fazer nessas estratégias. Os grupos de holdout ajudam porque fornecem uma comparação clara para mostrar o impacto que suas estratégias de marketing estão causando, já que não recebem nenhuma comunicação sua.

Por exemplo, considere usar grupos de holdout se você quiser estabelecer:

• O valor e o impacto claros do seu programa geral de marketing em relação aos custos.
• Ao fazer alterações no seu programa de marketing (por exemplo, adicionar um novo canal), o valor associado a essas alterações incrementais.
• Se certas atividades de marketing forem realmente prejudiciais, estiverem gerando resultados negativos e precisarem ser ajustadas (por exemplo, muitos fluxos nos momentos errados para os clientes).

Fatores adicionais a considerar com grupo de holdout

É importante considerar o timing e a aplicação de quando você pode usar grupos de holdout.

Como as pessoas em um grupo de holdout são impedidas de receber quaisquer e-mails, SMS, notificações push, enviados por campanhas ou fluxos, considere os seguintes fatores:

• Você só pode ter um grupo de holdout com atividade por vez para usar na comparação com seus programas de marketing.
• Um grupo de holdout se aplica a todos os canais usados em uma campanha ou fluxo; não é possível ativá-lo para um canal específico em vez de outro.
• Um grupo de holdout não interfere em outros eventos sazonais importantes de e-commerce ou épocas do ano (por exemplo, Black friday Cyber Monday).
• Quais mensagens essas pessoas, mesmo em grupos de holdout, devem sempre receber. Saiba mais sobre substituir mensagens.

Grupo de holdout vs. Testes A/B

Os grupos de holdout são diferentes por natureza dos Testes A/B, e essas duas funções não devem ser confundidas. Os grupos de holdout permitem que você entenda o impacto da sua comunicação de marketing ao não enviar nada para um grupo de pessoas. Em contrapartida, os Testes A/B permitem que você compare 2 ou mais versões da sua comunicação de marketing. Por exemplo, você pode comparar 2 versões de uma campanha de e-mail.

Criar um grupo de holdout

1. Para criar um grupo de holdout, acesse Análises > Experimentos e clique na guia Experimentos globais.

2. Clique em Criar teste.

Em seguida, você será guiado por uma série de etapas para configurar e personalizar seu grupo de holdout.

3. Use o campo à esquerda para adicionar um número que represente a porcentagem de perfis comercializáveis que você quer colocar no seu grupo de holdout. Conforme você atualiza sua porcentagem no campo, o valor numérico atualizará a contagem total à direita. Use apenas números (com até 2 casas decimais) neste campo.

4. Depois que você estiver satisfeito com sua porcentagem, clique em Continuar.

5. Por padrão, seu grupo de holdout começará na data de hoje, mas você poderá escolher a data de término. Clique no campo Selecionar data para abrir o widget de calendário. A partir daqui, clique em uma data no calendário para selecionar a data de término.

Você também pode garantir que certos fluxos considerados necessários ainda sejam recebidos por perfis no seu grupo de holdout. Para fazer isso, você substituirá as regras do grupo de holdout para certos fluxo(s). Por exemplo, muitos fluxo de boas-vindas podem ser importantes o suficiente para ainda serem recebidos pelos seus clientes de holdout e, portanto, serem substituídos.

6. Para garantir que seus perfis ainda recebam determinado(s) fluxo(s), pesquise pelo nome do fluxo no campo Pesquisar fluxos à esquerda. Você também pode refinar sua busca por um fluxo específico abrindo o menu suspenso Selecionar tags e selecionando determinada(s) tag(s) no menu suspenso.

Você também pode restringir sua pesquisa por um determinado fluxo abrindo o menu suspenso Todos e selecionando série de boas-vindas ou carrinho abandonado. Ao escolher uma dessas opções, você verá apenas esses tipos de fluxo listados abaixo.

Por fim, você pode optar por procurar fluxos com base no status (Ativo, Manual, Rascunho). Abra o menu Todos os status e escolha uma das opções; assim, você reduzirá sua lista abaixo.

7. Depois de encontrar o(s) fluxo(s) que você quer substituir (ou seja, seus perfis receberão esses fluxos), marque a caixa de seleção ao lado de cada um aplicável e clique em Revisar.

Se você não quiser selecionar nenhuma para substituir, clique em Pular.

8. Na aba Detalhes, revise as configurações, incluindo as datas de início e término e a porcentagem de perfis comercializáveis no grupo de holdout.

9. Clique na guia Fluxos substituídos para revisar todos os fluxos que ainda serão enviados para os perfis do seu grupo de holdout, conforme mostrado no exemplo abaixo.

10. Se você tiver alterações a fazer, clique em Voltar. Caso contrário, clique em Iniciar teste se você estiver pronto para que seu grupo de holdout fique com atividade.

Editando ou encerrando seus grupos de holdout

Se você configurou um grupo de holdout e quer editar determinadas configurações (isto é, nome ou data de término) ou encerrar o teste de grupo antes do previsto, acesse Análises > Experimentos > Experimentos globais.

Aqui você vai encontrar o card de holdout global (será o card com dados acima do card de histórico).

Editar um grupo de holdout com atividade

1. Se você quiser editar o nome do seu grupo de holdout ou a data de término, clique no menu de 3 pontos no canto superior direito do card.

2. Selecione Editar detalhes no menu.

3. A partir daqui, você pode editar o nome do seu grupo de holdout no campo Editar nome do teste. Você também pode ajustar a data de término clicando no campo Alterar data de término do teste e escolhendo uma nova data no widget de calendário.

4. Depois de concluir suas edições, clique em Salvar.

Encerrando um teste com atividade de grupo de holdout

Se você quiser encerrar seu teste antes do fim, também pode fazer isso por meio deste card.

1. Clique no menu de 3 pontos no canto superior direito do cartão.

2. Escolha Encerrar teste no menu.

3. Em seguida, aparecerá uma modal pedindo que você confirme se quer encerrar o teste e fazer com que seu grupo de holdout volte a receber todas as mensagens de marketing. Para confirmar, clique em Encerrar teste. Caso contrário, clique em Cancelar para evitar concluir esta ação.

Analisando fluxos substituídos

1. Se você quiser revisar qual(is) fluxo(s) pode ter substituído para seu grupo de holdout, clique no menu de 3 pontos no canto superior direito deste card.

2. Escolha Substituições com atividade no menu.

3. Revise a(s) substituição(ões) do fluxo que você escolheu para este grupo de holdout, se aplicável.

Substituir fluxos adicionais

Depois de concluir a configuração inicial do grupo de holdout, talvez você perceba que quer adicionar mais fluxos substituídos. Em outras palavras, talvez você tenha outros fluxos que queira que seu grupo de holdout receba.

1. Para adicionar mais fluxos substituídos, navegue até fluxo. Encontre e clique em um fluxo existente na lista ou clique em Criar fluxo para substituir grupos de holdout.
2. Depois de entrar no fluxo, crie ou clique no acionador do seu fluxo.

Dependendo do gatilho que você escolheu (por exemplo, lista), é aqui que você verá o painel Configuração do gatilho à esquerda, com a opção de substituir um grupo de holdout global existente. No exemplo abaixo, a opção de substituir um grupo de holdout global é mostrada em um acionador de lista.

3. No painel Configuração do acionamento, clique no link do grupo Substituir grupo de holdout global.

4. Se você quiser enviar mensagens deste fluxo específico para quem está no seu grupo de holdout global, escolha Sim. Caso contrário, escolha Não e saia do processo de substituição.

5. Clique em Salvar na parte inferior do painel Configuração do acionador para salvar suas alterações. Clique em Cancelar se não quiser salvar suas atualizações.

Substituição de campanhas individuais (e-mail, SMS ou push)

Pode ser necessário permitir que algumas campanhas cheguem aos seus grupos de holdout. Por exemplo, talvez você queira que seus grupos de holdout global recebam um e-mail de boas-vindas individual da sua marca. Nesse caso, você precisará substituir a campanha específica para garantir que seus grupos de holdout global recebam essa mensagem ou campanha específica.

1. Acesse Campanhas.
2. Pesquise no campo ou encontre a campanha de rascunho adequada na lista abaixo. Se você estiver criando uma nova campanha, também pode adicionar a substituição diretamente durante a configuração, ao mesmo tempo.

3. Na primeira etapa de configuração da campanha, clique na opção Configurar na seção Destinatários.

4. Se você quiser enviar esta campanha específica para as pessoas do seu grupo de holdout global, escolha Sim. Caso contrário, escolha Não e saia do processo de substituição.

5. Clique em Salvar para confirmar suas alterações. Clique em Cancelar se você não quiser salvar suas atualizações.

6. Continue configurando o restante da sua campanha. Quando terminar, clique em Salvar e continuar para conteúdo.

A tela Pronto para enviar? confirmará e mostrará que seu grupo de contas globais com atividade não receberá esta campanha.

Adicionar novos canais de marketing mais tarde

Se você adicionar um novo canal a uma campanha existente (por exemplo, SMS), suas configurações serão mantidas da configuração inicial da campanha, inclusive se você tiver escolhido substituir grupos de holdout globais.

Se você quiser ajustar isso, siga as instruções de configuração acima e, em vez disso, desative a opção de substituição.

Verificar se um perfil faz ou fez parte de um grupo de holdout

Você pode verificar se um perfil específico (ou perfis específicos) está atualmente ou já fez parte de um grupo de holdout global em algum momento.

Em um único perfil

1. Acesse Públicos > Perfis.
2. Pesquise no campo acima ou escolha um perfil na lista abaixo. Um banner, como mostrado no exemplo abaixo, informará se um perfil faz parte do grupo de holdout global.

Você também pode ver se um perfil já fez parte de um grupo de holdout e quando isso aconteceu. A remoção de um grupo de holdout significa que o teste foi encerrado e o perfil foi removido dele.

Em fluxos

1. Navegue até Fluxos.
2. Use o campo de pesquisa acima ou encontre o fluxo na lista abaixo.
3. Clique em uma mensagem no fluxo que foi ignorada.
4. Veja o painel à esquerda de uma determinada mensagem de fluxo para conferir a seção Análises (últimos 30 dias). Aqui, você verá uma linha para atividade ignorada.

5. Clique em Pulado para ser direcionado automaticamente para a aba Atividade do destinatário do e-mail e para a seção Pulado. Esta seção mostra por que indivíduos foram pulados no horário de envio de uma determinada mensagem de fluxo, inclusive se eles estavam em um grupo de holdout global.

Em campanhas

1. Acesse Campanhas.
2. Pesquise no campo ou encontre a campanha enviada apropriada na lista abaixo.
3. Clique na aba Atividade ignorada. Esta seção mostrará por que as pessoas foram ignoradas no horário de envio para esta mensagem de fluxo específica, inclusive se elas estavam em um grupo de holdout global.

Analisar dados de analytics em grupos de holdout

Cartão de grupo de holdout com atividade global

O cartão do holdout global na parte superior da seção de análises detalha todas as informações e dados sobre qualquer holdout atualmente com atividade. Este cartão é especialmente útil, pois oferece uma forma clara de analisar o sucesso das suas estratégias de marketing e a receita, conversão, e o aumento associados a elas.

A parte superior do seu cartão mostrará a porcentagem geral de aumento de marketing, como exibido abaixo. Isso representa o aumento do seu programa de marketing em comparação com os do grupo de holdout que não receberam nenhuma mensagem. Essa métrica é essencial para entender o impacto geral do seu programa de marketing.

Abaixo da melhoria de marketing, serão incluídos dados sobre:

• Percentual de holdout
  O percentual do total de perfis comercializáveis que não recebeu nenhuma mensagem de marketing. Isso é derivado da configuração inicial do seu grupo de holdout.
• Probabilidade de vitória
  Probabilidade de seu programa de marketing oferecer uma melhoria significativa em relação ao grupo de holdout.

• Grupo de tratamento
  O grupo principal que recebe todo o seu marketing.
• Grupo de holdout
  O grupo que é mantido sem receber e-mails, SMS e notificações push enviadas por campanhas e fluxos.
• Perfis comercializáveis
  Qualquer perfil para o qual se possa enviar um e-mail pela Klaviyo é considerado um perfil de e-mail comercializável. Existem 2 categorias principais de perfis com atividade:
  • Assinantes
    Os assinantes preencheram um formulário de registro ou, de outra forma, consentiram explicitamente em receber marketing por e-mail.
  • Perfis adicionados por engajamento geral
    É possível que alguém compartilhe o e-mail com você sem consentir explicitamente com o marketing por e-mail contínuo. Por exemplo, alguém que fez um pedido ou abandonou um checkout no seu site pode ter adicionado um endereço de e-mail durante o processo de checkout, mas não aceitou receber e-mails.

As duas últimas colunas representam a métrica de conversão que sua conta está usando, refletida pelo número bruto total e, em seguida, pela porcentagem que isso representa do total. Observe que isso se refere ao total de conversões feitas pelos seus perfis, e não a conversões atribuíveis.

Cartão de histórico

O cartão de resumo do histórico fornece os dados de todos os seus grupos de holdout. Esse cartão é especialmente útil para ver quaisquer mudanças incrementais que você possa ter feito nos seus programas de marketing e como isso afetou a conversão e o uplift. Aqui, você pode rastrear essas mudanças ou pontos no tempo e acompanhar o que deu certo nos seus programas.

As colunas representarão o seguinte:

• Nome
  Nome do grupo de holdout global que você configurou.
• Data de início
  Quando o grupo de holdout global foi configurado e ficou com atividade pela primeira vez.
• Data de término
  Quando o grupo de holdout global terminou e os perfis foram removidos dele.
• Tamanho do holdout
  A porcentagem de perfis do total de seus perfis comercializáveis que são representados no grupo de holdout. Isso é derivado da configuração inicial do seu grupo de holdout.
• Aumento de marketing
  O percentual de aumento do seu programa de marketing em comparação com os do grupo de holdout, usando a métrica de conversão selecionada da sua conta. Isso mostra o sucesso geral das suas estratégias de marketing em comparação com aquelas que não estão recebendo todo ou a maior parte do seu marketing.
• Probabilidade de vitória
  Probabilidade de que seu programa de marketing forneça uma melhoria significativa em relação ao grupo de holdout.

Você também pode clicar nas setas ao lado de qualquer uma dessas colunas para ordenar por nomes, datas, tamanhos de holdout, incremento de marketing e probabilidade de vitória em ordem crescente ou decrescente.

Ao clicar em qualquer um dos nomes de holdout global, você será direcionado(a) para um card de análises individual com dados sobre esse grupo específico em comparação com seus programas de marketing.

Recursos adicionais