O que o VozRadarBot faz no seu site.

O que é o VozRadarBot

O VozRadar mede como os assistentes de IA (mecanismos de resposta) mencionam, recomendam e citam marcas em mercados específicos. Para isso, ele precisa ler algumas páginas públicas da web: as páginas das marcas que nossos clientes acompanham e as páginas que as respostas de IA citam. O VozRadarBot é o rastreador que as busca.

Toda requisição se identifica com este user agent:

VozRadarBot/0.1 (+https://vozradar.com/bot)

O token a usar no robots.txt é VozRadarBot. A correspondência não diferencia maiúsculas de minúsculas.

O que ele visita

O VozRadarBot só busca páginas por um motivo ligado a um cliente do VozRadar. Há três casos.

• O site do próprio cliente. Quando um cliente conecta o site dele a um projeto, o bot faz um rastreamento inicial de até cerca de 250 páginas. Ele também faz uma verificação de "acesso para IA", que requisita a página inicial, o /robots.txt e o /llms.txt.
• Sites de concorrentes. Para os concorrentes que um cliente acompanha, o bot busca até 100 páginas por site, começando pelas páginas que as respostas de IA citam. Os concorrentes mais mencionados são atualizados mais ou menos uma vez por semana; o cliente também pode pedir uma atualização manual, no máximo uma vez por dia.
• Páginas citadas em respostas de IA. Para ver quais marcas uma página citada menciona, o bot busca sob demanda um número pequeno de páginas públicas de terceiros, até 20 páginas por verificação.

Como ele se comporta

• Ele busca apenas páginas públicas. Nunca faz login, envia formulários, contorna paywalls nem tenta acessar nada privado.
• Antes de rastrear, ele lê o robots.txt e segue o grupo de VozRadarBot ou, se não houver um, o grupo *. Allow e Disallow são suportados, incluindo os padrões com * e $. A única exceção é a verificação de acesso para IA no site do próprio cliente, que requisita a página inicial, o /robots.txt e o /llms.txt para relatar o que encontrou.
• Quando rastreia um site, ele faz uma requisição por vez, com pelo menos um segundo de intervalo, e respeita um Crawl-delay no robots.txt de até 10 segundos.
• Ele não executa JavaScript. Lê o HTML como é servido.
• Toda requisição tem um limite de tamanho de 2 MB e um tempo limite.
• Ele usa apenas http e https nas portas padrão.

Como bloquear ou desacelerar

Adicione regras para VozRadarBot ao seu robots.txt. As mudanças passam a valer na próxima vez que o bot ler o arquivo, o que acontece no início de cada rastreamento. A verificação de acesso para IA no site do próprio cliente continua requisitando a página inicial, o /robots.txt e o /llms.txt para poder relatar o que encontrou.

Bloquear o site inteiro:

User-agent: VozRadarBot
Disallow: /

Manter fora de uma pasta:

User-agent: VozRadarBot
Disallow: /private/

Desacelerar para uma requisição a cada cinco segundos:

User-agent: VozRadarBot
Crawl-delay: 5

O que armazenamos

Dos sites de concorrentes, armazenamos apenas metadados da página: a URL, o título, a meta descrição, os títulos principais, o idioma, as datas que a página publica, o status HTTP e a contagem de palavras. Não armazenamos o texto da página.

Das páginas de terceiros citadas em respostas de IA, armazenamos a URL, o título, o status HTTP e quais marcas acompanhadas a página menciona. Não armazenamos o texto da página.

Do site do próprio cliente, armazenamos o texto das páginas, para que as recomendações que damos a esse cliente possam usá-lo.

Contato

Dúvidas, reclamações ou um pedido para parar de rastrear um site: [email protected]. Se pedir que paremos de rastrear um site, inclua o domínio.