Como medir a visibilidade em busca com IA

O que conta como uma medição

A visibilidade em busca com IA se mede executando um conjunto fixo de perguntas de compradores em uma superfície de resposta nomeada, muitas vezes ao longo de um período, e contando com que frequência as respostas mencionam, recomendam e citam sua marca. O resultado é um conjunto de taxas com tamanho da amostra, acompanhadas ao longo do tempo, por superfície e por mercado. Qualquer coisa menor que isso é uma anedota.

Uma captura de tela de uma resposta não é uma medição. Ela mostra o que um modelo produziu uma vez, para uma pessoa, em um local, com os resultados de busca que recuperou naquele minuto. Faça a mesma pergunta de novo e as marcas citadas podem mudar. A OpenAI documenta que suas APIs são não determinísticas por padrão e que, mesmo com uma seed fixa, "o determinismo não é garantido". Respostas com busca na web acrescentam uma segunda fonte de variação: os resultados de busca por trás delas mudam todos os dias.

Por isso a unidade de medida não é uma resposta. É uma taxa sobre muitas respostas amostradas, com as condições registradas: qual superfície, qual modelo, qual local, qual dia.

Escolha prompts que reflitam perguntas reais de compradores

Os prompts que você monitora decidem o que você aprende. Se forem os nomes dos seus próprios produtos, você vai descobrir que os assistentes conhecem seu produto. Essa não é a pergunta. A pergunta é se um comprador que ainda não conhece você recebe o seu nome na resposta.

Monte o conjunto a partir das perguntas que as pessoas realmente fazem a um assistente em cada etapa: o que é uma categoria, quais opções existem, qual se encaixa em uma restrição, quanto custa, se está disponível no país delas. Uma empresa de software de folha de pagamento no Brasil monitoraria prompts como "qual software de folha de pagamento atende ao eSocial" e "melhor sistema de folha para uma empresa com 50 funcionários", não "nosso produto é bom".

• Escreva-os no idioma do mercado, do jeito que um comprador local formularia, não como traduções de uma lista de palavras-chave em inglês. Vocabulário, regulamentação e concorrentes mudam de país para país; veja como as respostas de IA mudam por país.
• Agrupe-os por intenção (perguntas de categoria, de comparação, de adequação) para ler taxas por grupo em vez de um único número misturado.
• Mantenha o conjunto estável. Trocar prompts no meio da série quebra a comparação. Adicione os novos como um grupo separado, com sua própria data de início.

Taxa de menção, taxa de recomendação, cobertura de citações

Cada prompt é executado repetidamente. Cada execução é uma observação. A partir das observações você calcula três taxas, e elas respondem a três perguntas diferentes.

• Taxa de menção: a proporção de respostas em que sua marca é citada pelo nome. Ela diz se o assistente sabe que você existe nesse contexto.
• Taxa de recomendação: a proporção de respostas em que sua marca é apresentada como uma opção que o comprador deveria considerar, não apenas mencionada. Uma menção dentro de "outras alternativas que você talvez conheça" não é uma recomendação.
• Cobertura de citações: a proporção de respostas que trazem um link para uma página sua como fonte. As superfícies com busca na web expõem isso: a documentação do Google diz que seus recursos de IA exibem links para as fontes, e o grounding com busca da API do Gemini retorna as URLs citadas junto com a resposta.

Uma marca pode ser mencionada com frequência, recomendada raramente e citada nunca. Cada lacuna aponta para uma correção diferente, e é por isso que uma única "pontuação de visibilidade" misturada esconde mais do que mostra.

Tamanho da amostra e incerteza. Uma taxa calculada sobre quatro respostas diz pouco. Se um prompt foi executado 40 vezes e sua marca foi recomendada em 12, informe "12 de 40" ou "30% em 40 respostas", e trate isso como uma estimativa com uma faixa em volta. À medida que a contagem cresce, a faixa se estreita. Qualquer ferramenta que mostre uma taxa sem o tamanho da amostra está pedindo que você confie em um número que não pode verificar.

Por superfície, por mercado, e quem mais está na resposta

As superfícies não são intercambiáveis. Uma resposta da API com busca na web da OpenAI, uma do Gemini com grounding do Google Search, uma da API de busca na web da Perplexity e um AI Overview em uma página de resultados do Google são produzidas por modelos diferentes sobre recuperações diferentes. Informe cada uma como sua própria série, com o provedor nomeado. Não faça a média entre elas, e não chame um resultado de API de "ChatGPT": o que uma pessoa vê no aplicativo para consumidores é outra coisa, e uma medição por API não substitui isso.

Os mercados também não são intercambiáveis. O mesmo prompt feito do Brasil e do México, no idioma de cada país, é recuperado de fontes diferentes e responde com marcas diferentes. Meça cada mercado em que você vende como uma série própria. Se estiver começando por um, a página do mercado Brasil mostra como é uma linha de base de um único mercado.

Acompanhe os concorrentes e as fontes, não só você. Registre cada marca que aparece em cada resposta, para ver quem é recomendado quando você não é, e registre cada domínio citado, para ver em quais publicações, diretórios e sites de comparação o assistente se apoia nesse mercado. É dessas listas que sai a maioria das correções: um diretório que lista o concorrente e não você, um site de avaliações com fatos desatualizados sobre seu produto, uma página de categoria que você nunca escreveu no idioma local. O guia sobre como aparecer nas respostas de IA explica o que fazer com elas.

Distinguir uma mudança real do ruído

Como as taxas se movem sozinhas, a parte mais difícil da medição é saber quando algo aconteceu. Um exemplo inventado: uma taxa de recomendação que vai de 25% para 35% entre duas execuções semanais de 40 respostas cada está dentro da faixa que você esperaria só pela amostragem. Um salto no dia em que um provedor trocou o modelo é uma mudança no instrumento, não na sua visibilidade.

Uma disciplina que funciona é assim:

1. Registre uma linha de base antes de mudar qualquer coisa: várias semanas de execuções, por superfície e mercado, para saber quanto as taxas oscilam em repouso.
2. Anote a data de publicação de cada mudança que fizer, com o que foi mudado e onde.
3. Defina uma janela de observação com antecedência, longa o bastante para a mudança ser rastreada e recuperada, e compare a janela com a linha de base, não com a melhor semana isolada.
4. Anote as mudanças do provedor. Quando uma versão do modelo ou o comportamento de busca muda dentro da sua janela, sinalize a comparação em vez de confiar nela.
5. Use uma linguagem cuidadosa. "Provavelmente positivo", "sem mudança clara" e "inconclusivo" são resultados honestos. Uma melhora depois de uma mudança é evidência de que ela ajudou, não prova, porque ninguém controla o que um assistente responde.

Como o VozRadar mede

O VozRadar é construído em torno do método acima. Para um mercado escolhido, ele descobre prompts localizados de compradores e, depois que você os aprova, executa-os toda semana em superfícies de resposta nomeadas: a API da OpenAI com busca na web, o Gemini com grounding na Pesquisa Google, a API de busca na web da Perplexity, e o Google AI Mode e os AI Overviews capturados dos resultados de busca. Cada resposta é guardada como uma observação, rotulada com a superfície, o modelo e o local que a produziram; um resultado de API é rotulado como tal, não como o aplicativo para consumidores.

Taxa de menção, taxa de recomendação e cobertura de citações são informadas como probabilidades com o tamanho da amostra e uma faixa de incerteza, nunca como uma posição, e cada agregado leva às respostas por trás dele. Concorrentes e fontes citadas são registrados por mercado. Quando você publica uma correção, o Registro de Experimentos guarda a linha de base, a data de publicação e a janela de observação, e informa o resultado como evidência, não como prova. A página de metodologia mostra o modelo, os limites e um exemplo com números. O VozRadar está em pré-lançamento com lista de espera; a página Sobre descreve o que ele afirma e o que não afirma.