Guia de incrementalidade

A Incrementalidade da AppsFlyer emprega dois métodos alternativos para calcular o aumento:

• Intenção de tratar
• Com base no alcance

Embora a metodologia baseada no alcance seja preferível para efeitos de avaliação do desempenho da campanha, o seu cálculo exige a medição de pontos de dados que não são fornecidos por todas as redes de anúncio. Para estas redes, é usada a metodologia de intenção de tratar.

Aumento baseado na ITT

A metodologia experimental da intenção de tratar (ITT) tem os seus fundamentos na ciência médica. Utilizando a ITT, os pesquisadores dividem aleatoriamente uma determinada população entre um grupo de controle que não é tratado e um grupo de teste que os pesquisadores pretendem tratar. Os investigadores medem a eficácia de um determinado tratamento comparando os resultados dos grupos. O fato de um membro do grupo de teste ter ou não recebido tratamento não é levado em conta.

Do mesmo modo, no remarketing, a métrica de aumento mede a eficácia da campanha. Não importa se um usuário do grupo de teste se engajou efetivamente com uma campanha (recebeu tratamento), porque é a intenção que é relevante no cálculo da incrementalidade. Por outras palavras, os resultados são calculados como se todos os membros do grupo de teste tivessem efetivamente participado na campanha.

Quando é que é usado?

A Incrementalidade da AppsFlyer usa o cálculo de aumento baseado na ITT para SRNs.

Embora não seja o método preferido para medir o aumento no nosso contexto, a ITT continua a ser um método experimental cientificamente sólido e fornece resultados válidos quando o cálculo baseado no alcance não é possível.

Interpretação dos resultados

O pressuposto subjacente de que todos os membros do grupo de teste foram efetivamente alcançados por uma campanha resulta frequentemente em taxas de conversão baixas e, consequentemente, num baixo aumento incremental.

Aumento baseado no alcance

Tal como o nome indica, o cálculo do aumento com base no alcance tem em conta o fato de um membro do grupo de teste ter ou não sido efetivamente alcançado (apresentado a um anúncio de campanha) antes de converter. Para além de requerer dados adicionais, o cálculo de aumento com base no alcance é também mais complexo, na medida em que requer determinados ajustes matemáticos ao grupo de controle para ser estatisticamente válido. Estes ajustes são cumulativamente conhecidos como a criação de um grupo de controle "contrafactual".

Quando é que é usado?

A Incrementalidade da AppsFlyer usa o cálculo de aumento baseado no alcance para redes não-SRNs (redes de links de atribuição).

Embora seja o método preferido para calcular o aumento, o cálculo baseado no alcance exige que as redes de anúncios informem os seguintes dados à AppsFlyer:

• Dados de impressão
• ID da campanha (a partir do link de atribuição)

Se estes dados não forem comunicados, a métrica da Incrementalidade não está disponível (e é apresentada como N/A no painel Incrementalidade).

Interpretação dos resultados

Uma vez que o cálculo do aumento com base no alcance tem em conta apenas os membros do grupo de teste que foram efetivamente alcançados por uma campanha, as redes que são medidas usando a incrementalidade com base no alcance mostrarão normalmente resultados amplificados (o aumento positivo será muito maior e o aumento negativo será muito menor).

Práticas recomendadas

Uma vez que as duas metodologias diferentes de cálculo de aumento podem produzir resultados significativamente diferentes, recomendam-se as seguintes boas práticas para tornar a interpretação mais significativa:

• Ao criar suas experiências, selecione públicos que estejam divididos apenas entre um grupo de controle e uma ou mais redes do mesmo tipo:
  • Redes de links de atribuição (não-SRN) para cálculo baseado no alcance; ou
  • SRNs para cálculo baseado na ITT
• Nas suas experiências iniciais, considere utilizar uma audiência dividida apenas entre uma única rede e um grupo de controle. Isto torna menos provável que comparações entre 2 ou mais redes para as quais são usados diferentes cálculos de aumento sejam feitas.

Ao avaliar a validade das experiências de Incrementalidade, a metodologia científica sólida exige que consideremos a significância estatística (o nível de confiança de que o resultado do aumento não se deve a eventos aleatórios ou ao acaso). 

No painel Incrementalidade, a significância é relatada como uma porcentagem para cada fonte de mídia:

• A percentagem indica a probabilidade de os resultados para essa fonte de mídia se repetirem se a experiência fosse realizada novamente em circunstâncias semelhantes.
• Se for determinado que a significância estatística é inferior a 60%, o painel de controle apresentará Resultados não confiáveis em vez de uma percentagem.
• A significância é afetada pela dimensão da audiência, pela duração da experiência e pelo desempenho da fonte de mídia.

Para acessar o painel da Incrementalidade:

1. Na AppsFlyer, no menu lateral, selecione Otimizar > Incrementalidade.
2. Na lista de experiências, clique na linha da experiência para a qual pretende ver o painel.

A lógica básica subjacente à estrutura do relatório é a seguinte:

• Usuários que participaram na experiência - Relatório inédito
  • Em Audiences (Públicos), são definidas regras que caracterizam os usuários a incluir na experiência.
  • Quando um determinado usuário é identificado como correspondendo às regras, o evento é registado no relatório first_seen. 
    • Os usuários são atribuídos aleatoriamente a um grupo de teste ou de controle indicado pelo campo is_control_group .
    • Os usuários do grupo de teste são atribuídos a uma fonte de mídia(pid_destination) para redirecionamento.
• Engajamento do usuário no aplicativo: O engajamento do usuário com o aplicativo durante a experiência é registado em relatórios específicos do contexto: 
  • Tipo de engajamento: Sessão ou evento in-app
  • Estado de atribuição do usuário quando ele é visto pela primeira vez: Orgânico, não orgânico, reatribuição. Por exemplo, no passado, um usuário instalava o aplicativo e a ele era atribuído um carácter orgânico. Como tal, durante uma experiência, o estado de atribuição é orgânico.  
• Desinstalações: Usuários que desinstalam o aplicativo durante a experiência. A métrica da desinstalação deve estar ativa. 

A disponibilidade do campo varia consoante o tipo de relatório, conforme indicado abaixo:

Campos exclusivos da Incrementalidade (por tipo de relatório)

Outros campos do relatório de Incrementalidade (por tipo de relatório)