O que é llms.txt e se ele ajuda

O que é o llms.txt

llms.txt é um arquivo Markdown na raiz de um site que dá aos modelos de linguagem uma descrição curta do site e uma lista selecionada de links para as páginas mais úteis. Foi proposto por Jeremy Howard em 3 de setembro de 2024. É uma proposta, não um padrão: até a data desta página, nenhum grande provedor de IA nem buscador documenta que lê o arquivo, então não se sabe se ele ajuda.

O raciocínio é simples. Uma página HTML envolve o conteúdo em navegação, anúncios e scripts, o que dificulta transformá-la de volta em texto limpo, e, como diz a proposta, as janelas de contexto, embora maiores do que eram, ainda são pequenas demais para a maioria dos sites inteiros. Então, em vez de esperar que um modelo desembarace um site inteiro, o site publica um arquivo conciso que diz o que ele é e onde estão as páginas importantes. A proposta completa está em llmstxt.org.

A proposta espera que o arquivo seja usado sobretudo no momento da inferência, quando um modelo lê um site para responder a uma pergunta, e não para treinamento. Essa distinção importa para o resto deste guia.

Como o arquivo é

O formato é pequeno de propósito. Segundo a proposta, um arquivo contém:

1. Um H1 com o nome do site. É a única parte obrigatória.
2. Uma citação em bloco (blockquote) com um resumo curto do que é o site.
3. Markdown livre, sem títulos, com mais contexto.
4. Seções sob títulos H2, cada uma com uma lista de links Markdown, opcionalmente seguidos de dois-pontos e uma nota de uma linha.
5. Uma seção chamada "Optional", que por convenção guarda links secundários que um leitor pode pular.

O arquivo costuma ficar em /llms.txt. A proposta também sugere servir uma versão Markdown limpa das páginas importantes na mesma URL com .md no final, para que um modelo busque o conteúdo sem o HTML em volta.

Um arquivo hipotético de uma loja virtual no Brasil abriria com o nome da loja, uma citação de uma frase dizendo o que vende e para quem, e depois seções como "Produtos", "Entrega" e "Ajuda", com poucos links em cada uma. É uma lista de leitura com um resumo em cima.

Algumas empresas publicam também um llms-full.txt mais longo, com toda a documentação em um só arquivo; a documentação para desenvolvedores da Anthropic faz isso, e as documentações da OpenAI e da Perplexity publicam um índice llms.txt. Isso mostra quem adotou o formato para os próprios documentos, não que os assistentes dessas empresas leem o arquivo nos sites de outras pessoas.

Alguém lê esse arquivo de verdade?

A resposta honesta é curta: até a data desta página, nenhum grande provedor de IA nem buscador publicou documentação dizendo que consulta o llms.txt para responder perguntas ou decidir o que citar. Isso não é o mesmo que dizer que o arquivo é ignorado. Significa que o suporte não está documentado, e qualquer afirmação em um sentido ou no outro deve ser lida com isso em mente.

O que as fontes primárias dizem:

• Google. A página do Google sobre recursos de IA e o seu site afirma que não há requisitos adicionais para aparecer nos AI Overviews ou no AI Mode, nem otimizações especiais necessárias, e remete a rastreabilidade, conteúdo de qualidade e experiência de página. Sua documentação de rastreadores descreve o Google-Extended, um token de robots.txt que controla se o conteúdo rastreado pode ser usado para treinar o Gemini e para grounding. Nenhuma das duas páginas menciona o llms.txt.
• OpenAI. A visão geral dos rastreadores da OpenAI documenta o OAI-SearchBot, usado para exibir sites nos resultados dos recursos de busca do ChatGPT; o GPTBot, usado para treinamento; e o ChatGPT-User, que baixa páginas para certas ações do usuário e que, segundo a OpenAI, pode não seguir o robots.txt. De nenhum deles se diz que lê o llms.txt.
• Perplexity. A documentação de bots da Perplexity descreve o PerplexityBot, que exibe sites nos resultados de busca, e o Perplexity-User, que pode visitar uma página para responder a uma pergunta e que em geral ignora o robots.txt. De nenhum deles se documenta a leitura do llms.txt de outros sites.

A documentação é aquilo com que um provedor se compromete, e sobre este arquivo ela não diz nada.

Na prática: se um assistente menciona ou recomenda sua marca, é porque a etapa de busca dele encontrou e leu suas páginas, ou páginas sobre você, e as considerou relevantes. Nada documentado sugere que o llms.txt mude isso. Para saber o que de fato move essas respostas, veja como aparecer nas respostas de IA.

Como ele se relaciona com robots.txt e sitemaps

Os três arquivos costumam ser citados juntos, mas fazem trabalhos diferentes, e só dois têm leitores documentados.

robots.txt diz quais URLs um rastreador pode acessar. É um padrão formal, a RFC 9309, e todo rastreador importante documenta como a obedece. O Google esclarece que ele não é um mecanismo para manter uma página fora do Google. Para a IA, é também onde você permite ou bloqueia os agentes citados acima. Pela descrição dos próprios provedores, OAI-SearchBot e PerplexityBot são os que exibem sites nos resultados de busca deles, então bloqueá-los equivale a sair desses resultados; bloquear GPTBot ou Google-Extended afeta treinamento e grounding, não a busca.

Um sitemap lista as URLs do seu site para que os buscadores as encontrem. O protocolo Sitemap é XML, exige apenas a localização de cada URL e é lido por todos os buscadores importantes. É uma ajuda para descobrir páginas, não uma descrição.

llms.txt não é nenhuma das duas coisas. Ele não concede nem nega acesso, e não é uma lista completa de URLs. É um resumo escrito por uma pessoa, com uma lista de leitura curta, voltado a um modelo e não a um rastreador, sem leitores documentados entre os grandes provedores. Se o robots.txt é o portão e o sitemap é o mapa, o llms.txt é um bilhete na porta dizendo do que se trata o lugar.

Você deveria publicar um?

Provavelmente sim, com as expectativas na proporção certa. O arquivo leva uma hora para escrever, não custa nada para servir e não pode prejudicar você se disser a verdade. Pode ajudar com alguma ferramenta que de fato o leia. Não deveria ser o motivo para pular o trabalho que está documentado como importante.

1. Verifique o robots.txt primeiro. Garanta que os rastreadores de busca com IA que você quer estejam permitidos, e que qualquer bloqueio a bots de treinamento seja deliberado. É o único arquivo que todos os provedores documentam.
2. Mantenha o sitemap atualizado, com datas corretas nas páginas novas.
3. Faça as páginas importantes serem legíveis como texto. Títulos claros, a resposta perto do topo, os fatos ditos de forma direta. É isso que um assistente com busca realmente lê.
4. Depois escreva o llms.txt. Um H1, uma citação honesta, poucas seções com as páginas de que um comprador precisaria e uma seção Optional para o resto. Mantenha-o no ritmo do site; um arquivo desatualizado é pior do que nenhum.

Dois cuidados. Não coloque no llms.txt afirmações que não estejam nas páginas que ele vincula; se um modelo ler os dois, a contradição é motivo para desconfiar do arquivo. E escreva-o no idioma do mercado que ele atende, ou vincule cada versão de idioma explicitamente, porque as perguntas dos compradores no México e no Brasil não são traduções umas das outras. O guia sobre por que as respostas de IA mudam de país para país explica o motivo.

Como o VozRadar trata o llms.txt

O VozRadar publica um em vozradar.com/llms.txt: um H1, uma citação que descreve o produto, um parágrafo curto sobre como ele funciona, uma seção Pages que vincula a página inicial, a página sobre, os mercados, os guias e as comparações, e uma seção Optional para a política de privacidade e os termos. É mantido no ritmo do site e não afirma nada que o site não afirme.

Não o tratamos como uma alavanca de visibilidade, porque nada documentado diz que ele seja uma. O VozRadar mede se uma marca é mencionada, recomendada e citada em superfícies de resposta com busca na web nomeadas, e relata cada uma como uma taxa com o tamanho da amostra; se um site tem ou não um llms.txt não é uma entrada dessas taxas. Se um cliente quiser testar o arquivo mesmo assim, é para isso que existe o Registro de Experimentos: registrar a linha de base, publicar o arquivo em uma data conhecida e acompanhar a janela de observação. O resultado muitas vezes será "sem mudança clara", e isso também é útil saber. O guia sobre como medir a visibilidade em IA explica o método.