Incrementalidade para remarketing

A Incrementalidade da AppsFlyer usa dois métodos alternativos para calcular o aumento:

• Intent-to-treat
• Reach-based

Embora a metodologia baseada no alcance seja preferível para avaliar a performance da campanha, o seu cálculo exige a mensuração de pontos de dados que não são fornecidos por todas as ad networks. Para essas ad networks, usamos a metodologia intent-to-treat.

Aumento baseado em ITT

A metodologia experimental de Intent-to-treat (ITT) se baseia na ciência médica. Usando o ITT, os pesquisadores dividem aleatoriamente uma determinada população entre um grupo de controle que não é tratado e um grupo de teste que os pesquisadores pretendem tratar. Os investigadores avaliam a eficácia de um determinado tratamento comparando os resultados dos grupos. O fato de um membro do grupo de teste ter ou não recebido tratamento não é levado em conta.

Do mesmo modo, no remarketing, a métrica de aumento avalia a eficácia da campanha. Não importa se um usuário do grupo de teste se engajou efetivamente com uma campanha (recebeu tratamento), porque é a intenção que é relevante no cálculo da incrementalidade. Em outras palavras, os resultados são calculados como se todos os membros do grupo de teste tivessem efetivamente participado na campanha.

Quando esse método é usado?

A Incrementalidade da AppsFlyer usa o cálculo de aumento baseado em ITT para SRNs.

Embora esse não seja o melhor método para mensurar o aumento no nosso contexto, o ITT continua a ser um método experimental cientificamente sólido e fornece resultados válidos quando o cálculo reach-based não é possível.

Interpretação dos resultados

Assumir que todos os membros do grupo de teste foram efetivamente alcançados por uma campanha frequentemente resulta em taxas de conversão baixas e, consequentemente, em um aumento incremental baixo.

Aumento reach-based

Como o nome indica, o cálculo do aumento reach-based (que se baseia em alcance) considera o fato de que um membro do grupo de teste pode ter sido efetivamente alcançado ou não (ou seja, ele visualizou um anúncio da campanha) antes de converter. Além de exigir dados adicionais, esse cálculo também é mais complexo, pois ele requer determinados ajustes matemáticos ao grupo de controle para ser estatisticamente válido. Estes ajustes levam à criação de um grupo de controle "contrafactual".

Quando esse método é usado?

A Incrementalidade da AppsFlyer usa o cálculo reach-based para redes não-SRNs (que usam links de atribuição específicos para ad networks).

Embora esse seja nosso método preferido para calcular o aumento, e,e exige que as ad networks compartilhem os seguintes dados com a AppsFlyer:

• Dados de impressão
• Campaign ID (a partir do link de atribuição)

Se esses dados não forem compartilhados, a mensuração da Incrementalidade não é possível (e é exibida como N/A no dashboard de Incrementalidade).

Interpretação dos resultados

Como o cálculo reach-based leva em consideração somente membros do grupo de teste que de fato foram impactados por uma campanha, as ad networks que são mensuradas via incrementalidade reach-based normalmente mostram resultados amplificados (o aumento positivo será bem maior e o aumento negativo será bem menor)

Práticas recomendadas

Como as duas metodologias de cálculo de aumento podem gerar resultados significativamente diferentes, temos algumas práticas recomendadas que podem melhorar a interpretação:

• Ao criar seus testes, selecione audiências que estejam divididas apenas entre um grupo de controle e uma ou mais ad networks do mesmo tipo:
  • Ad networks que usam links de atribuição (não-SRN) para cálculo baseado no alcance; ou
  • SRNs para cálculo de ITT
• Nos seus testes iniciais, considere usar uma audiência dividida apenas para uma única ad network e um grupo de controle. Isso reduz a probabilidade de que as comparações sejam feitas entre 2 ou mais ad networks que possuem diferentes cálculos de aumento incremental.

Ao avaliar a validade dos testes de Incrementalidade, a metodologia científica exige que consideremos a significância estatística (ou seja, precisamos confirmar que o resultado do aumento não se deve a eventos aleatórios).   

No dashboard de Incrementalidade, a significância é relatada como uma porcentagem para cada fonte de mídia:

• A porcentagem indica a probabilidade de os resultados para essa fonte de mídia se repetirem se o mesmo teste for realizado novamente em circunstâncias semelhantes.
• Se for determinado que a significância estatística é inferior a 60%, o dashboard mostrará o texto Resultados não confiáveis em vez de uma porcentagem.
• A significância é afetada pela dimensão da audiência, pela duração da experiência e pela performance da fonte de mídia.

Para métricas a nível de grupo de teste (em contraste com as métricas por usuário), o aumento é calculado com base em um grupo de controle escalonado. Ou seja, a dimensão do grupo de controle é ajustada para corresponder à dimensão do grupo de controle para cada fonte de mídia.

Incrementalidade é um recurso premium. Para começar, entre em contato com seu customer success manager ou envie uma mensagem para hello@appsflyer.com. Feito isso, você poderá acessar o dashboard de Incrementalidade.

Para acessar o dashboard de Incrementalidade:

1. Na AppsFlyer, no menu lateral, selecione Otimizar > Incrementalidade.
2. Na lista de testes, clique na linha do teste que você deseja analisar.

A lógica básica subjacente à estrutura do relatório é a seguinte:

• A lógica básica da estrutura do relatório é a seguinte:
  • No Audiences, algumas regras são definidas para caracterizar os usuários que serão incluídos na experiência.
  • Quando um determinado usuário se encaixa nas regras, o evento é registrado no relatório first_seen.
    • Os usuários são atribuídos aleatoriamente a um grupo de teste ou de controle indicado pelo campo is_control_group .
    • Os usuários do grupo de teste são atribuídos a uma fonte de mídia(pid_destination) para retargeting.
• Engajamento do usuário no aplicativo: O engajamento do usuário com o aplicativo durante o reste é registado em relatórios específicos, de acordo com o contexto:
  • Tipo de engajamento: Sessão ou evento in-app
  • Status de atribuição do usuário quando ele é first-seen: Orgânico, não orgânico, reatribuição. Por exemplo, no passado, um usuário instalou o aplicativo e foi atribuído como orgânico. Assim, durante uma experiência, o status de atribuição é orgânico.
• Desinstalações: Usuários que desinstalam o aplicativo durante o teste. A mensuração de desinstalação deve estar ativada. 

A disponibilidade do campo varia de acordo com o tipo de relatório, conforme indicado abaixo:

Campos exclusivos de Incrementalidade (por tipo de relatório)

Outros campos do relatório de Incrementalidade (por tipo de relatório)