Executando um experimento de incrementalidade

Premium

Visão geral: execute um experimento de incrementalidade para entender o verdadeiro impacto de suas campanhas de remarketing.

KB_toggle_final.jpg

Visão geral

O teste de incrementalidade mede o impacto real de suas campanhas com testes A/B que medem com precisão o “aumento incremental” – a diferença entre as conversões que ocorreram como resultado de suas campanhas de remarketing e aquelas que teriam ocorrido de qualquer maneira.

Os resultados são cruciais para entender o valor real gerado por seus investimentos em marketing. Com o teste de incrementalidade, você pode ver objetivamente o impacto de determinados canais e campanhas e tomar melhores decisões sobre alocação de orçamento e otimização de campanha.

A AppsFlyer facilita o teste de incrementalidade com um processo automatizado que começa na criação do público. O novo público é dividido automaticamente entre parceiros de mídia conectados e um grupo de controle por meio da opção “Medir o impacto incremental” habilitada. O grupo de controle é a parte da audiência que é retida dos parceiros e é uma parte indispensável do teste. Depois que o público é salvo, um experimento de incrementalidade é criado automaticamente. Depois de lançar suas campanhas no lado do parceiro e garantir que as campanhas corretas estejam vinculadas, você poderá visualizar os resultados da experiência no painel Incrementalidade.

Comece agora

Siga estas etapas para começar com o teste de incrementalidade. Para obter detalhes adicionais sobre cada etapa, consulte Configurar o experimento abaixo.

  Etapas
1

Conheça os objetivos do seu teste

Maximize a capacidade de ação dos resultados de seu experimento definindo objetivos de teste claros e uma hipótese para o resultado.

2

Crie o público alvo e divida os grupos

Em Audiences:

  • Configure o público
  • Conecte-o a ad networks.
  • O público é dividido em grupos de teste e controle automaticamente, por meio de uma alternância habilitada (para assinantes Incrementalidade, em públicos criados após 11 de janeiro de 2023).

    O AppsFlyer Audiences carrega os membros do grupo de teste para as ad networks e retém os membros do grupo de controle. 

3

Lance a campanha e experimente

  • Nas ad networks, crie e lance uma campanha direcionada aos usuários do público.
  • O experimento de incrementalidade é criado automaticamente (para assinantes do Incrementalidade). 

Os membros do grupo de teste são expostos a anúncios. O grupo de controle não.

4

Analise os resultados

Os insights obtidos com experimentos de incrementalidade bem executados permitem que você otimize suas campanhas de marketing para obter o máximo impacto positivo. Por exemplo, pode ajudar a indicar a melhor mensagem para um público-alvo, o melhor criativo ou promoção, a fonte de mídia mais eficaz e muito mais. 

Configure o experimento

Conheça os objetivos do seu teste

Como em qualquer experimento, é importante definir exatamente o que você está testando (variáveis) e o que você espera que seja o resultado (a hipótese). A tabela a seguir fornece diretrizes e práticas recomendadas para criar seu experimento: 

Variáveis/Hipótese Diretrizes e práticas recomendadas
público Descreva o público que você está testando. Escolha um público que você já configurou no AppsFlyer Audiences ou crie um novo que atenda aos seus critérios de teste.
Tamanho do público

Selecione um público com uma grande base de usuários e um evento com altas taxas de conversão. É mais provável que um tamanho de amostra grande produza resultados estatisticamente significativos.

 

Prática recomendada: um público de pelo menos 50.000 usuários, dividido entre 1 a 3 ad networks + o grupo de controle.

Campanha Descreva a campanha (mensagens, incentivos, etc.).
Grupo de controle % O grupo de controle é definido automaticamente para 15% do tamanho do público (a melhor prática é entre 15% a 25%). 
Grupo de teste

Determine as ad networks que deseja testar. A porcentagem dividida será dividida igualmente entre eles (mas você pode ajustar a porcentagem da audiência que será enviada para cada um).

 

Prática recomendada: 1 a 3 ad networks

Hipótese

Defina o resultado esperado do experimento.

Embora possa parecer um pouco contra-intuitivo prever o resultado antes de começar, estabelecer uma hipótese é um elemento importante do projeto experimental; é o que ajuda você a interpretar seus resultados.

Prática recomendada: defina uma hipótese que seja facilmente testável usando porcentagens reais em vez de estimativas vagas. Por exemplo:

  • 15% a mais de usuários comprarão uma atualização é uma hipótese facilmente testável.
  • Significativamente mais usuários comprarão uma atualização é mais difícil de testar.

 Exemplo

Usando as diretrizes descritas acima, você pode definir um experimento semelhante ao abaixo.

Variáveis/Hipótese Exemplo
público Usuários que concluíram o registro, mas não fizeram uma compra
Tamanho do público 100.000
Campanha Uma campanha que fornece um cupom de desconto aos usuários que fizerem uma compra durante um período especificado
Grupo de controle % 15% do tamanho do público
Grupo de teste

Envie os membros restantes da audiência para:

  • Rede A (42% da audiência)
  • Rede B (43% da audiência)
Hipótese A taxa de usuários do grupo de teste que engajam com a campanha de remarketing e fazem uma compra será 10% maior do que os usuários do grupo de controle. 

Crie o público alvo e divida os grupos  

Depois de definir seus objetivos, o próximo passo é configurar o público que você irá testar:

  1. No AppsFlyer Audiences, crie um público (ou você pode dividir um público existente que atenda aos requisitos do seu design experimental).
  2. Na aba Conectar para o público selecionado:
    • Conecte o público a 1, 2 ou 3 parceiros de ad network.
    • Certifique-se de que a alternância que divide o público esteja habilitada (ela é habilitada automaticamente para assinantes Incrementalidade, em públicos criados após 11 de janeiro de 2023). Caso contrário, clique no botão de alternância para ativá-lo.

      Measure_inc_impact_toggle.jpg

    • O grupo de controle é definido automaticamente para 15% (recomendado).
    • O restante do público é automaticamente dividido igualmente entre os parceiros de ad networks selecionados.
      • A porcentagem total de divisão deve ser igual a 100% (incluindo o grupo de controle).

Depois de salvar seu público com a divisão habilitada, um experimento de incrementalidade é iniciado automaticamente (somente assinantes de incrementalidade). Esses experimentos podem ser visualizados no painel Incrementalidade com o prefixo "[Auto]" antes do título.

Auto_before_title.jpg

Observações importantes:

  • Durante a execução do experimento, não faça nenhuma alteração na configuração do público. Alterações em parceiros, nome do público ou outras configurações causarão análises estatísticas imprecisas.
    Prática recomendada: mesmo após o término de um experimento, se você precisar fazer alterações na definição de um público testado anteriormente, duplique o público primeiro e faça alterações na nova cópia. Isso garante a integridade contínua dos dados históricos no painel Incrementalidade.
  • Modificar a configuração de divisão e parceiro de um público existente encerrará o experimento de Incrementalidade atual e criará um novo.
  • Verifique os recursos de expansão de audiências:

Tanto o Meta ads quanto o Google Ads têm um recurso opcional que permite que as campanhas sejam segmentadas fora de uma lista de audiências configurada para expandir o alcance da campanha. Esse recurso, se deixado ativado, influenciará os experimentos de Incrementalidade e causará resultados imprecisos. Verifique se esse recurso está desativado.

No Meta ads, o recurso é chamado de “Advantage custom audience” (Audiência personalizada com vantagem). Ele aparece no nível do conjunto de anúncios e é ativado por padrão. 

image__4_.png
No Google Ads, é chamado de "Audience expansion" (expansão de público-alvo)

Google_Ads_Incrementality_limitation_cropped.jpg

Lance a campanha e experimente

Execute as seguintes ações:

1. Configure campanhas em ad networks

A primeira etapa é criar uma campanha voltada para os usuários do seu público e lançá-la no lado da ad network (para cada ad network para a qual o público está sendo carregado).

  • Importante! Para obter resultados de teste precisos, configure a campanha para que seja direcionada apenas aos usuários do público que está sendo testado; não inclua usuários de qualquer outra origem.
  • Se o público testado for um público recém-criado, pode levar até 24 horas para que o público esteja disponível na plataforma da ad network. 

2. Verifique se a campanha correta está vinculada ao experimento 

Um novo experimento de incrementalidade é iniciado automaticamente assim que um novo público é criado com a opção "Medir impacto incremental" habilitada (ou se tiver sido habilitada recentemente em um público existente). A campanha mais relevante é vinculada automaticamente à experiência, mas você pode alterar a campanha se desejar.

Para vincular/alterar uma campanha:

1. No painel Incrementalidade > no experimento específico > Clique em Editar experimento

Edit_experiment.jpg

 

Ou

Em Públicos, localize o público específico > clique em + Vincular link na coluna Incrementalidade.

Link_campaign__audiences_status_.jpg

Uma janela é exibida, permitindo vincular campanhas.

Link_campaign_to_experiment_window.jpg

2. Selecione as campanhas relevantes para cada ad network.

Observação: o menu suspenso será preenchido com campanhas extraídas de seus parceiros de mídia. Quando os dados estiverem disponíveis, as campanhas no menu suspenso serão ordenadas pela probabilidade de serem usadas para comercializar para o público específico. A melhor sugestão será pré-selecionada para você.

3. Clique em Salvar.

A campanha agora está vinculada ao experimento.

 

Criar um experimento manualmente 

Se você for um assinante do Incrementalidade que criou seu público após 11 de janeiro de 2023, não há necessidade de criar um experimento manualmente. Os experimentos são criados automaticamente para seus públicos (e aparecem no painel Incrementalidade com "[Auto]" antes do título). Se você deseja criar um experimento manual para um público mais velho ou por algum outro motivo, siga estas etapas.

Para criar manualmente um novo experimento de Incrementalidade:

  • Na AppsFlyer, vá para Painéis > Incrementalidade.
  • Na página Experimentos de incrementalidade, clique no botão Novo experimento.
  • Siga as etapas do assistente para criar o experimento. Instruções detalhadas são fornecidas à medida que você passa por cada etapa.

     Observações

    Etapa 2 do assistente - Configuração do público

    Na etapa 2 do assistente, você é solicitado a selecionar a data a partir da qual os membros do público devem ser incluídos no experimento.

    Por padrão, esta é a data em que o público foi inicialmente dividido com um grupo de controle. Para garantir resultados precisos do experimento, altere essa data se uma das seguintes situações se aplicar:

    • Se você fez alterações na definição do público selecionado (conjuntos de regras de segmentação de público, identificador de usuário, etc.) altere esta data para corresponder à última data em que essas alterações de definição de público foram feitas.
    • Se você estiver testando uma nova campanha em um público pré-existente altere esta data para a data em que lançou a nova campanha.

    Etapa 3 do assistente - Defina metas

    Step_3_Set_targets.jpg

    Aqui você seleciona o aplicativo de destino e os KPIs.

    Observação: todos os outros KPIs estarão disponíveis ao final do experimento, mesmo que não sejam selecionados.

     

    Etapa 4 do assistente - Revisão

    Na etapa 4 do assistente, você será solicitado a definir o período do experimento.

    • Por padrão, um experimento é configurado para ser executado por 30 dias a partir do momento em que é criado. Este é o período mínimo recomendado para executar um experimento.
    • Selecione a opção Continuar experimento indefinidamente se desejar que o experimento continue em execução até que você opte por encerrá-lo ativamente. 

Analise os resultados

Os resultados iniciais do experimento estão disponíveis no dashboard de Incrementalidade cerca de 48 horas após o lançamento das campanhas conectadas nas ad networks (atualizado diariamente). você pode ver alertas na página do experimento que ajudam a identificar problemas que podem comprometer a precisão dos resultados e sugerir ações que podem ser tomadas para resolvê-los.

Os relatórios de dados brutos de incrementalidade estão disponíveis por meio do Data Locker.

Veja também