Incrementalidade para UA - Guia

A Incrementalidade para UA usa experiências baseadas em geolocalização para mensurar o verdadeiro impacto da sua campanha de forma científica. Em vez de segmentar usuários, segmentamos áreas geográficas em regiões de exposição e grupos de controle estatisticamente semelhantes. Essas regiões são selecionadas com base no tamanho e no histórico de comportamento. Os anúncios são exibidos apenas para regiões de teste, enquanto as regiões de controle não recebem exposição. Ao comparar o comportamento dos dois grupos durante o período de espera, podemos mensurar o efeito causal real — não apenas a correlação.

Os experimentos de geolocalização seguem uma linha do tempo estruturada:

• Antes do experimento: ambos os grupos são igualmente expostos a anúncios das campanhas mensuradas. Durante esse tempo, coletamos dados de base e criamos um modelo que captura a relação histórica entre as regiões de teste e as regiões de controle.
• Intervenção (o experimento): as campanhas são ativadas apenas nas regiões de teste. As regiões restantes são impedidas de visualizar anúncios das campanhas mensuradas.
• Cálculo do efeito causal: a diferença entre os resultados observados nas regiões de controle e nas regiões teste durante o experimento é somada ao longo do tempo, sendo usada para determinar o impacto cumulativo.

Regressão baseada em tempo (TBR)

No centro do nosso experimento geográfico está a regressão baseada em tempo (TBR, do inglês Time-Based Regression). A TBR é usada para calcular aumentos, prevendo o que teria acontecido na ausência de uma intervenção de marketing. Ou seja, comparamos os resultados observados em uma região de teste (onde a intervenção é feita) com os resultados previstos com base na relação histórica entre uma região de controle (não exposta à intervenção) e uma região de teste.

Como funciona

• Criação de geo-designs de regiões de controle e regiões de teste:
  • A AppsFlyer analisa o histórico de instalações ou comportamento de eventos in-app por aplicativo e usa a TBR em milhares de conjuntos aleatórios de regiões de controle/regiões de teste por diferentes períodos de tempo, identificando aquelas com menor diferença entre si.
• Período pré-teste:
  • Antes de começar a intervenção, os dados são coletados tanto para as regiões de controle quanto para as regiões de teste.
  • Um modelo de regressão é criado para capturar a relação entre a série de tempo da região de teste e a região de controle.
• Previsão de contradições:
  • Usando o modelo desenvolvido no período pré-teste, os resultados esperados para a região de controle (se nenhuma intervenção ocorreu) são previstos durante o período de teste. Eles são chamados de "contra-factuais".
• Período de teste:
  • Para as campanhas que fazem parte do experimento de incrementalidade, as regiões de retenção predeterminadas são automaticamente excluídas da visualização de anúncios durante a duração do experimento.
• Cálculo do efeito causal:
  • O efeito causal da intervenção em cada ponto de tempo é a diferença entre o resultado observado na região de controle e sua previsão contra-factual.
• Efeitos cumulativos:
  • Essas diferenças são resumidas ao longo do tempo para determinar o impacto cumulativo da intervenção (por exemplo, aumento total em instalações ou conversões).
• Aumento causado por marketing:
  • O aumento causado por marketing é o efeito cumulativo que quantifica os resultados incrementais impulsionados por atividades de marketing em comparação com os resultados esperados sem ele.

A incrementalidade para UA ajuda você a solucionar seus principais desafios de crescimento, revelando o verdadeiro impacto comercial das suas campanhas. Veja abaixo alguns casos de uso comuns em que os testes de incrementalidade baseados em geolocalização adicionam valor crítico.

1. Otimize a distribuição de orçamentos em todas as plataformas de anúncios
   Desafio: As métricas de atribuição mostram uma performance semelhante em várias plataformas, mas você não tem certeza do que realmente está impulsionando seu crescimento. Solução: Faça testes de incrementalidade paralelos usando várias células entre plataformas. Use os resultados para identificar qual plataforma causa um aumento real, redistribuindo seu orçamento de acordo.
2. Validar a performance de novos canais ou formatos
   Desafio: Você está testando um novo canal ou plataforma de anúncios, mas as métricas iniciais são inconsistentes ou infladas por conta da sobreposição de direcionamento. Solução: Faça testes de geolocalização para isolar o impacto do novo canal no seu mix. Determine se ele contribui com novas instalações líquidas ou apenas canibaliza as existentes.
3. Compreender o impacto das campanhas de marca
   Desafio: As campanhas de marca têm uma boa performance nos relatórios de atribuição, mas você não tem certeza se os usuários teriam convertido sem elas. Solução: Faça experimentos geográficos para descobrir se os anúncios de marca ou display realmente influenciam o comportamento do usuário ou se eles apenas captam a demanda existente.
4. Comparar estratégias de campanha na mesma plataforma
   Desafio: Você quer testar duas estratégias criativas (por exemplo, vídeo vs. carrossel) ou tipos de bids (por exemplo, maximizar instalações vs. ROAS) dentro da mesma rede. Solução: Faça um experimento com várias células, atribuindo cada estratégia a uma célula diferente. Compare o aumento incremental de cada um e escolha o vencedor.
5. Redistribuir investimentos de mercados saturados para mercados escaláveis
   Desafio: Mercados mais maduros trazem retornos menores e custos de aquisição maiores. No entanto, os dados de atribuição não são o suficiente para esclarecer se você está alcançando novos usuários. Solução: Os testes de aumento de geolocalização mostram se as campanhas nesses mercados ainda são incrementais. Caso contrário, transfira seu orçamento para regiões inexploradas ou subvalorizadas, que apresentam maior potencial.

Vamos falar sobre quais são as melhores campanhas que devem ser selecionadas para seus experimentos. Algumas considerações:

• Impacto: Quais testes podem influenciar a sua estratégia como um todo? Muitas vezes, isso significa que você deve começar seus testes com suas maiores iniciativas, pois entender como elas realmente afetam o seu crescimento levará a otimizações significativas.
• Volume de conversão: Bons experimentos precisam de dados suficientes. Para cada campanha mensurada, foque em no mínimo 5.000 instalações ou eventos mensais, de acordo com o principal KPI que você deseja mensurar
• Exploração: A incrementalidade é uma ferramenta incrível para testar algo novo, como entrar em um novo mercado ou lançar um novo canal.
• Ter uma hipótese ou pergunta de teste claras: Como qualquer outro experimento científico, pensar bem sobre qual é a sua principal pergunta contribuirá para a eficácia e a acionabilidade do seu experimento de incrementalidade. Por exemplo, você espera que um canal seja mais incremental do que o outro? Como isso afetará sua estratégia de marketing se sua hipótese for comprovada ou descartada?

Os principais resultados de KPI do experimento incluem:

• Aumento (%): O impacto causal da atividade de marketing analisada, mensurada como as conversões adicionais (por exemplo, instalações ou eventos in-app) que a sua campanha realmente impulsionou, para além do que teria acontecido naturalmente sem essa campanha.
• Conversões incrementais: O número de instalações ou eventos impulsionados pela campanha mensurada.
• Custo por instalação incremental / Custo por evento incremental: O custo médio de cada conversão incremental, com base no investimento em anúncios da campanha.
• Fator de incrementalidade: A proporção entre instalações ou eventos incrementais (conforme mensurados pelo experimento) e instalações ou eventos de atribuição clássicos (conforme mensurados na atribuição clássica da AppsFlyer).

Veja a lista completa de KPIs de experimentos na seção sobre o dashboard.

Para que os insights de incrementalidade sejam realmente práticos, a AppsFlyer fornece tanto os KPIs de aumento (%) quanto de incrementalidade a nível de campanha.

Otimização com base em aumento (%):

A. Sem aumento:
O objetivo final do marketing é gerar resultados incrementais. Se a sua campanha foi mensurada para não ter um aumento (regiões de controle estão com a mesma performance das regiões de teste), isso significa que ela não está trazendo nenhum valor adicional e deve ser otimizada para trazer um crescimento significativo. Se sua campanha não tiver um aumento, considere o seguinte:

• Transfira seus orçamentos para mais campanhas ou canais incrementais.
• Otimize: Como em qualquer outra campanha de baixa performance, você pode melhorá-la ajustando bids, metas, público-alvo, criativos e outros fatores relevantes. Em seguida, você pode executar outro experimento de incrementalidade para monitorar se os resultados melhoraram.
• Para fazer o diagnóstico dos fatores que podem estar afetando seus resultados, verifique sua configuração tecnológica, segmentação, mix de canais, posicionamentos, orçamentos, palavras-chave, criativos e sobreposições de campanhas. Essas informações serão muito úteis para a sua otimização e para garantir resultados incrementais no futuro.

B. Aumento positivo:
Um aumento positivo significa que a sua campanha está gerando resultados incrementais além dos resultados que seriam conquistados sem os seus esforços de marketing. Primeiro, você deve validar se todos os seus esforços de marketing estão gerando um aumento positivo. Quando o aumento é positivo, considere o seguinte:

• Aumente o investimento em plataformas/canais/campanhas para ampliar o seu crescimento.
• Amplie o alcance, expandindo audiências ou locais para aumentar o impacto.
• Identifique os fatores de crescimento, redobrando o sucesso e priorizando as melhores estratégias.
• Compare campanhas ou canais com base no aumento: O aumento é uma medida relativa calculada por meio da comparação entre as regiões de controle e as regiões de teste. Por isso, comparar campanhas com base no aumento pode ser um desafio. Por exemplo, se ambas as campanhas tiverem o mesmo impacto, mas uma delas atingir um número significativamente maior de usuários ou tiver um valor de gastos significativamente maior, seu aumento será maior.
  Tente comparar campanhas que sejam semelhantes em gastos e alcance e que geralmente tenham como alvo as mesmas regiões geográficas.
• Se você está começando a mensurar a incrementalidade para o seu aplicativo ou negócio, é possível que você ainda não tenha uma referência sólida para determinar o nível exato de aumento positivo esperado de uma determinada campanha, canal ou investimento. Nesse caso, recomendamos que você faça a otimização usando os KPIs de incrementalidade a nível de campanha da AppsFlyer, conforme descrito abaixo.

Otimização com base em KPIs de incrementalidade a nível de campanha:

A. Total de conversões incrementais e métricas de custo:
Assim como na atribuição clássica, o volume total de conversões incrementais e o investimento em anúncios necessário para gerar essas conversões fornecem métricas claras e acionáveis para a otimização. Você pode usar a contagem de conversões de incrementalidade a nível de campanha e o custo por conversão incremental para determinar se uma campanha atende às suas metas de volume e ROI, avaliando a sua performance em comparação a outras campanhas ou canais.

B. Acesse os dados de incrementalidade e atribuição clássicos lado a lado
Para a contagem de conversões a nível de campanha e o custo por conversão, o dashboard de Incrementalidade apresenta dados de atribuição clássicos (último toque) E dados de incrementalidade lado a lado, permitindo que você entenda a relação entre os dois modelos e aplique seus aprendizados em uma escala maior.
Quando analisadas separadamente, a atribuição clássica (“último toque”) e a incrementalidade são dois modelos de atribuição diferentes, cada um com suas próprias vantagens e desvantagens:

• A atribuição clássica (“último toque”) ocorre em tempo real, sendo padronizada, altamente escalável e granular. Portanto, ela permite a otimização a nível de usuário tanto do lado do anunciante quanto por meio de algoritmos de plataformas de anúncios em tempo real. No entanto, ela fornece uma visão mais clara do engajamento no final do funil, sem oferecer provas científicas causais.
• A incrementalidade é uma ótima ferramenta para provar cientificamente o impacto causal e é ideal para a mensuração omnichannel. No entanto, ela fornece insights agregados (a nível de campanha), além de ser periódica e mais difícil de escalar.

Quando usados em conjunto, os dois modelos fornecem uma visão holística da performance do seu marketing. O fator de incrementalidade da AppsFlyer apresenta a relação entre os dados de atribuição clássicos, que são a "linha de base" usada para uma otimização de marketing contínua, e os dados de incrementalidade usados para mensurar o impacto causal. Veja como você pode usar os fatores de incrementalidade para a otimização:

• Fator de incrementalidade superior a 100%: A incrementalidade mensurou mais conversões do que a atribuição clássica para a mesma campanha. Por exemplo, uma taxa de 110% significa que as instalações incrementais são 10%% mais altas do que as instalações mensuradas usando a atribuição clássica. Esse aumento nas conversões também se traduz em uma redução no custo por conversão, já que mais conversões são geradas pelo mesmo valor investido.
  Se o fator de incrementalidade for superior a 100%, considere o seguinte:
  • Redistribua seu orçamento de acordo com a queda no custo por conversão incremental.
  • Avalie seus bids e metas de otimização de acordo com o custo por conversão incremental e o retorno incremental do investimento em anúncios.
  • Aplique esse fator a campanhas semelhantes antes de tomar futuras decisões de marketing. Por exemplo, se suas campanhas de vídeo apresentam consistentemente um fator de incrementalidade de 110% para instalações de aplicativos quando mensuradas em experimentos de incrementalidade, você pode considerar que as instalações na atribuição clássicas para campanhas semelhantes são 10% maiores (ou seja, cada 100 instalações de atribuição clássicas são, na verdade, mais próximas de 110 instalações).
• Fator de incrementalidade abaixo de 100%: A incrementalidade mensurou menos conversões do que a atribuição clássica para a mesma campanha. Por exemplo, uma taxa de 90% significa que as instalações incrementais são 10% menores do que as instalações mensuradas usando a atribuição clássica. Essa queda nas conversões também se traduz em um aumento no custo por conversão, já que menos conversões são geradas pelo mesmo valor investido. Se o fator de incrementalidade for inferior a 100%, considere o seguinte:
  • Redistribua seu orçamento de acordo com o aumento no custo por conversão incremental.

•  
  • Avalie seus bids e metas de otimização de acordo com o custo por conversão incremental e o retorno incremental do investimento em anúncios.
  • Implemente esse fator em campanhas semelhantes para informar futuras decisões de marketing. Por exemplo, se suas campanhas de vídeo apresentam consistentemente um fator de incrementalidade de cerca de 90% para instalações de aplicativos quando mensuradas em experimentos de incrementalidade, você pode considerar que as instalações na atribuição clássicas para campanhas semelhantes são 10% menores (ou seja, cada 100 instalações de atribuição clássicas são, na verdade, mais próximas de 90 instalações).

Considere pausar experimentos (antes do padrão 30 dias) se:

• As métricas de aumento, fator de incrementalidade e custo permaneceram estáveis por mais de 7 dias.
• Há uma boa justificativa para obter resultados mais rápidos às custas de métricas de incrementalidade potencialmente menos precisas ou menos "padronizadas".

Considere prolongar os experimentos (além dos 30 dias padrão) se:

• O volume da campanha foi menor do que o esperado e deve aumentar para além do mínimo de conversões incrementais diárias.
• A janela de conversão para o evento mensurado é excepcionalmente longa, exigindo mais tempo para que os usuários sejam convertidos.

O primeiro passo é criar um experimento.

Para criar um experimento:

1. Acesse Incrementalidade para UA clicando em Otimizar > Incrementalidade para UA, no menu lateral da AppsFlyer. 

   

2. Clique em + Novo experimento
    
3. Preencha o formulário do experimento:
   1. Insira o nome do experimento - Crie um nome descritivo para o experimento e clique em Próximo.

   2. Adicionar (ou selecionar) um geo design - defina a base para o seu experimento selecionando o aplicativo, país e métrica principal que você deseja testar.
A AppsFlyer revisará seu geo design para saber mais sobre a sua viabilidade (o processo leva cerca de 24 horas). Se aprovado, a AppsFlyer seleciona automaticamente as regiões otimizadas de teste e de controle usando uma metodologia baseada em geolocalização. Além disso, o geo design também estará disponível para uso em experimentos futuros. Saiba mais

      

      Atenção: Por favor, verifique se seu novo geo design foi aprovado dentro de 24 horas. Se não for aprovado, significa que, no momento, ele não atende aos requisitos para um experimento válido.
Você pode tentar enviar o design novamente mais tarde, pois a elegibilidade pode mudar conforme o seu aplicativo recebe mais dados.

      •  
        • Selecionar um aplicativo - selecione o aplicativo relevante para o experimento.

        • Selecionar um país - selecione o país onde você deseja executar o experimento. Clique em Próximo.

          Atenção

          Cada país tem um certo número de células disponíveis para o seu experimento. Uma célula é constituída por um par de grupos de teste e de controle, estruturados de forma a serem semelhantes entre si e para todo o país. Você pode usar várias células em um experimento para uma comparação direta de diferentes campanhas entre fontes de mídia ou usá-las individualmente em experimentos separados.

          O número de células disponíveis depende do tamanho geográfico do país, da distribuição da população e dos níveis de atividade do aplicativo - fatores que afetam a capacidade de criar pares estatisticamente válidos de teste/controle. Países com regiões mais granulares e ativas oferecem mais células, permitindo mais experimentos.

•  
  • Selecione a métrica principal que você deseja mensurar. Pode ser uma instalação ou um evento in-app.

1. Configurar detalhes da campanha -
   • Você precisará selecionar uma conexão de canal de mídia para cada célula do experimento. Esse é o canal de mídia onde a sua campanha é executada. Se não houver conexões, você poderá criar uma nova conexão.
   • Em seguida, selecione o nome da campanha relevante.
     Abaixo, você verá o número mínimo de instalações ou eventos incrementais (com base na métrica principal selecionada) necessários para mensurar o impacto positivo da sua campanha com alta confiança estatística. Isso é conhecido como o "efeito detectável mínimo" do experimento. Certifique-se de que a campanha selecionada gere pelo menos esse número de conversões.
     Dica: Escolha uma campanha que atenda ou exceda esse mínimo para garantir resultados confiáveis e estatisticamente válidos.

   • Adicione células de experimento adicionais, se desejar.

     

     Se quiser adicionar outra célula ao experimento, clique em + Nova célula e selecione a conexão e a campanha relevantes. Uma célula é constituída por um par de grupos de teste e de controle, estruturados de forma a serem semelhantes entre si e para todo o país. Você pode usar várias células em um experimento para uma comparação direta de diferentes campanhas nos canais de mídia ou usá-las individualmente em experimentos separados.
     
     Depois de configurar as células, clique em Próximo.

2. Revise a configuração - verifique se o resumo do experimento está certo e, em seguida, clique em iniciar experimento.
   O experimento começa. Os resultados iniciais serão exibidos dentro de 24 horas.

   Atenção

   Quando o experimento terminar, as campanhas conectadas retornarão às suas configurações de direcionamento anteriores. Isso garante a continuidade e consistência da campanha e permite que você retome suas atividades de UA sem precisar reconfigurar o direcionamento manualmente.

   Exemplo
   Vamos supor que você realizou um experimento nos Estados Unidos usando três cidades designadas. Durante o experimento, sua campanha estava restrita apenas a essas cidades. Quando o experimento terminar, a campanha retomará automaticamente seu direcionamento original—como “Estados Unidos (todos os locais)”—como foi configurado antes do experimento ter ocorrido.

Você pode ver os resultados do experimento no dashboard do experimento.

Acessar o dashboard do experimento

1. Acesse a Incrementalidade para experimentos de UA clicando em Otimizar > Incrementalidade para UA, no menu lateral da AppsFlyer. 
    

   

2. Clique em um experimento específico para acessar o dashboard do experimento.

   

Conhecendo o dashboard

A parte superior do dashboard exibe 2 gráficos visuais:

• O Aumento: Gráfico de regiões de teste vs. regiões de controle - mostra o aumento incremental por célula do experimento.
• A Linha do tempo do experimento: Gráfico de regiões de teste vs. regiões de controle - mostra uma comparação lado a lado das instalações incrementais por dia no intervalo de datas do experimento, por célula. 

A seção central do dashboard exibe os KPIs de experimento por célula de campanha, canal de mídia e campanha:

• Instalações de atribuição clássica - O número de instalações que a campanha contribuiu, mensuradas por atribuição clássica.
• Instalações de incrementalidade - O número de instalações que a campanha contribuiu, conforme mensuradas pelo experimento.
   
• Fator de incrementalidade -A proporção entre instalações incrementais (mensuradas pelo experimento) e instalações/eventos na atribuição clássica. 
Por exemplo, uma taxa de 110% significa que as instalações incrementais são 10% mais altas do que as instalações mensuradas usando a atribuição clássica.
• Custo de atribuição clássico por instalação - O custo médio de cada instalação atribuída, com base no investimento em anúncios da campanha.
• Custo de incrementalidade por instalação - O custo médio de cada instalação incremental, com base no investimento em anúncios da campanha.
• Aumento - Quantas instalações/eventos adicionais ocorreram por causa da sua campanha, em comparação com o resultado que seria obtido sem ela. Calculado como: Aumento (%) = (performance real no grupo de teste (geolocalizações excluídas - performance prevista no grupo de teste) / performance prevista no grupo de teste x 100 x -1.
• Confiança - o nível de confiança estatística de que o aumento é maior que zero.
  
  Para saber mais sobre como ler os resultados, consulte Entendendo os resultados do experimento e usando os insights.

O gráfico de instalações incrementais cumulativas está na parte inferior do dashboard, que mostra as instalações incrementais cumulativas por célula.

O seu geo design é a base para os seus experimentos. Você o define selecionando o aplicativo, país e métrica principal que deseja testar em seus experimentos. Depois de criar um geo design, a AppsFlyer o avaliará quanto à sua viabilidade. Quando aprovado, o geo design estará disponível para uso em todos os seus experimentos. Você pode ter até 10 geo designs ativos. Depois de criar geo designs, você pode visualizá-los e gerenciá-los.

Para visualizar e gerenciar seus geo designs:

Em Incrementalidade para UA, clique na aba Geo designs.

Seus geo designs são organizados por aplicativo e exibem o país, a métrica principal, o status, criado por, criado em e o número de experimentos com base no design.

Status

Depois de criar seu geo design, a AppsFlyer o avaliará quanto à sua viabilidade (o processo leva cerca de 24 horas). Se aprovado, a AppsFlyer seleciona automaticamente as regiões otimizadas de teste e de controle usando uma metodologia baseada em geolocalização. O geo design também estará disponível para uso em experimentos futuros. Os status possíveis incluem:

• Em avaliação - A Appsflyer está analisando seu geo design para elegibilidade. Volte novamente em 24 horas.
• Pronto - O geo design é elegível e está pronto para uso. Você pode começar a criar experimentos.
• Indisponível - O geo design não é elegível com base nos dados que temos para a combinação atual de aplicativo, país e mensuração. Use outro geo design. Você pode tentar reenviar o design novamente (após 30 dias). Ele pode se tornar elegível à medida que mais dados se tornam disponíveis.

Conexões se referem à integração entre a Incrementalidade para UA e seus parceiros de mídia. Elas possibilitam a vinculação de campanhas e a execução de experimentos em plataformas conectadas.
 

Para adicionar conexões de canal de mídia:  

1. Acesse Incrementalidade para UA clicando em Otimizar > Incrementalidade para UA, no menu lateral da AppsFlyer. 

2. Clique na aba Conexões e depois em + Nova conexão.

   

3. Selecione um canal de mídia para conectar

   

4. Insira suas credenciais para fazer login e criar a conexão.

Você pode visualizar e gerenciar todos os seus experimentos em um só lugar.

Para visualizar e gerenciar seus experimentos:

Em Incrementalidade para UA, clique na aba Experimentos.

Para cada experimento, você pode ver o:

• Nome do experimento
• Aplicativo
• País
• Canal de mídia
• Datas - intervalo de datas do experimento
• Status - você pode ver o número de dias restantes no experimento ou quando ele é concluído.
• Aumento

Coluna de status

• Concluído - o período do experimento terminou
• Ativo - experimento está sendo executado no momento
• Pendente - experimento pendente de resultados (primeiras 24 horas)
• Em análise - design em análise (24 horas até a resposta)
• Pronto - design foi avaliado e considerado adequado
• Indisponível - design foi revisado e não foi considerado adequado

Passe o mouse sobre o experimento para acessar o ícone de ações.

A partir daqui você pode:

• Ver detalhes do experimento
• Prolongar a duração do experimento
• Parar experimento

Para prolongar um experimento:

No experimento, clique no ícone de ações (no canto superior direito) e selecione Prolongar duração do experimento.

Isso prolongará o experimento por mais 14 dias.

Para interromper um experimento:

No experimento, clique no ícone de ⠇ ações (no canto superior direito) e selecione Parar experimento.