Como o VozRadar mede a visibilidade em IA

O que contamos

O VozRadar faz às superfícies de resposta de IA as perguntas que os compradores de um mercado fazem, muitas vezes, e lê cada resposta. A partir dessas respostas, ele informa três taxas, cada uma como proporção das respostas:

• Taxa de menção: respostas que citam o nome da sua marca.
• Taxa de recomendação: respostas que apresentam sua marca como uma opção a escolher, não só como um nome de passagem.
• Cobertura de citações: respostas que linkam uma página do seu próprio domínio como fonte.

Cada taxa pertence a um mercado. A taxa principal conta as respostas das superfícies que você escolhe, e a mesma taxa sempre aparece também por superfície, para você ver qual assistente a move. Os mercados nunca são somados nem tirados em média: México e Colômbia são medidos como duas séries, mesmo falando o mesmo idioma.

Como as respostas são coletadas

As respostas vêm das APIs oficiais dos provedores: a API de busca na web da OpenAI, o Gemini com grounding do Google Search, a Agent API da Perplexity com busca na web e a API de busca na web do Claude. Google AI Mode e AI Overviews vêm de páginas de resultados do Google, obtidas pela API de um provedor de dados de busca.

O VozRadar não entra em apps de chat para consumidores nem automatiza as telas deles. Uma chamada de API pode ser repetida e suas configurações ficam registradas, então cada resposta pode ser rastreada até a requisição que a gerou.

Cada resposta leva o nome da superfície que a gerou, por exemplo "OpenAI · Web-grounded API". Uma resposta de API não é o que uma pessoa vê no app do ChatGPT, por isso o VozRadar nunca a chama de ranking do ChatGPT.

Por que uma resposta sem a sua marca conta

O denominador de cada taxa são todas as respostas às perguntas monitoradas. Uma resposta que não cita sua marca conta como zero. Se essas respostas fossem ignoradas, uma taxa só poderia subir, e uma marca citada uma vez em cem respostas pareceria tão visível quanto uma citada sempre.

As perguntas monitoradas são perguntas de compradores neutras em relação à marca, como "qual software de folha de pagamento atende ao eSocial", não o nome do seu produto. Assim, uma ausência é a resposta que um comprador teria lido: uma em que você não era uma opção.

Dados que faltam são outra coisa. Quando uma chamada ao provedor falha ou uma resposta não pode ser lida, essa resposta fica fora da taxa. É uma observação que falta, não uma ausência.

Uma ausência também não é uma certeza. Uma marca vista em 0 de 10 respostas não está "nunca mencionada": seu intervalo de 95% ainda chega a 28%.

Taxas com intervalos de 95%

Uma taxa calculada com poucas respostas é incerta, por isso o VozRadar trata cada taxa como uma estimativa. Ele usa um modelo Beta-Binomial: antes de qualquer resposta, toda taxa entre 0% e 100% é igualmente plausível (uma distribuição a priori Beta(1, 1)). Depois de ver respostas com e sem a marca, a estimativa é Beta(respostas com a marca + 1, respostas sem a marca + 1).

Cada taxa aparece com três números: a estimativa (a média a posteriori), o intervalo de 95% (a faixa que contém a taxa real com 95% de probabilidade segundo o modelo) e o número de respostas.

Por exemplo, uma marca recomendada em 12 de 40 respostas tem uma taxa estimada de 31%, com intervalo de 95% de 18% a 46%. Mais respostas estreitam o intervalo:

Duas taxas cujos intervalos se sobrepõem bastante não são claramente diferentes. Por isso o VozRadar nunca mostra uma taxa sem o tamanho da amostra, e nunca mostra uma posição como "#2".

Quando o instrumento muda

Os provedores mudam seus modelos e sua forma de buscar. Quando o modelo de um provedor muda, quando a busca dele passa a se comportar de forma claramente diferente ou quando o VozRadar muda como lê uma superfície, começa uma nova época da superfície.

Uma tendência que atravessa uma época compara dois instrumentos, então ela é sinalizada em vez de ser lida como uma mudança na sua visibilidade. Um experimento cuja janela atravessa uma época é classificado como inconclusivo.

A superfície de teste sintética

O VozRadar tem uma superfície de resposta simulada. Ela produz respostas inventadas para testar todo o processo (coleta, leitura, taxas, relatórios) sem chamadas pagas a provedores.

As respostas dela nunca se misturam com as reais. Elas só aparecem enquanto um projeto ainda não tem respostas reais, sob um aviso listrado de "Dados de teste sintéticos", e nunca disparam alertas. Elas não medem nenhum produto de IA.

Como os resultados de uma correção são descritos

Quando você publica uma correção, o VozRadar abre um experimento. Ele compara a taxa em uma janela de linha de base antes da mudança com a taxa em uma janela depois dela, cada uma com um número mínimo de respostas, e descreve o resultado de uma de quatro formas:

• Provavelmente funcionou: a taxa subiu pelo menos 10 pontos, com pelo menos 85% de probabilidade de ter aumentado.
• Provavelmente piorou: a taxa caiu pelo menos 10 pontos, com pelo menos 85% de probabilidade de ter diminuído.
• Sem mudança clara: a diferença é pequena ou incerta demais para concluir algo.
• Inconclusivo: uma superfície mudou durante a janela, ou perguntas de controle que a correção não buscava mover se moveram do mesmo jeito, o que aponta para uma deriva do modelo ou da busca.

São observações sobre as respostas, não uma prova do motivo da mudança. Ninguém controla o que um assistente de IA diz, então uma melhora depois de uma correção é evidência de que ela ajudou. O guia sobre como medir a visibilidade em buscas com IA explica a mesma disciplina para qualquer equipe.