Qué es llms.txt y si sirve de algo

Qué es llms.txt

llms.txt es un archivo Markdown en la raíz de un sitio web que le da a los modelos de lenguaje una descripción breve del sitio y una lista seleccionada de enlaces a sus páginas más útiles. Lo propuso Jeremy Howard el 3 de septiembre de 2024. Es una propuesta, no un estándar: a la fecha de esta página, ningún proveedor de IA importante ni ningún buscador documenta que lea el archivo, así que no se sabe si ayuda.

El razonamiento es simple. Una página HTML envuelve su contenido en navegación, anuncios y scripts, lo que dificulta convertirla de nuevo en texto limpio, y, como dice la propuesta, las ventanas de contexto, aunque son más grandes que antes, siguen siendo demasiado pequeñas para la mayoría de los sitios completos. Entonces, en lugar de esperar que un modelo desenrede todo un sitio, el sitio publica un archivo conciso que dice qué es y dónde están las páginas importantes. La propuesta completa está en llmstxt.org.

La propuesta espera que el archivo se use sobre todo en el momento de la inferencia, cuando un modelo lee un sitio para responder una pregunta, y no para el entrenamiento. Esa distinción importa para el resto de esta guía.

Cómo se ve el archivo

El formato es pequeño a propósito. Según la propuesta, un archivo contiene:

1. Un H1 con el nombre del sitio. Es la única parte obligatoria.
2. Una cita en bloque (blockquote) con un resumen corto de qué es el sitio.
3. Markdown libre, sin encabezados, con más contexto.
4. Secciones bajo encabezados H2, cada una con una lista de enlaces Markdown, opcionalmente seguidos de dos puntos y una nota de una línea.
5. Una sección llamada "Optional", que por convención guarda enlaces secundarios que un lector puede saltarse.

El archivo suele estar en /llms.txt. La propuesta también sugiere servir una versión Markdown limpia de las páginas importantes en la misma URL con .md al final, para que un modelo obtenga el contenido sin el HTML alrededor.

Un archivo hipotético para una tienda en línea en Brasil abriría con el nombre de la tienda, una cita de una oración que diga qué vende y a quién, y luego secciones como "Productos", "Envíos" y "Ayuda" con pocos enlaces cada una. Es una lista de lectura con un resumen arriba.

Algunas empresas publican además un llms-full.txt más largo con toda su documentación en un solo archivo; la documentación para desarrolladores de Anthropic lo hace, y la de OpenAI y la de Perplexity publican un índice llms.txt. Eso muestra quién adoptó el formato para sus propios documentos, no que sus asistentes lean el archivo en los sitios de otros.

¿Alguien lo lee de verdad?

La respuesta honesta es corta: a la fecha de esta página, ningún proveedor de IA importante ni ningún buscador ha publicado documentación que diga que consulta llms.txt para responder preguntas o decidir qué citar. Eso no es lo mismo que decir que el archivo se ignora. Significa que el soporte no está documentado, y cualquier afirmación en uno u otro sentido debe leerse con eso en mente.

Lo que sí dicen las fuentes primarias:

• Google. La página de Google sobre funciones de IA y tu sitio web afirma que no hay requisitos adicionales para aparecer en AI Overviews o AI Mode, ni optimizaciones especiales necesarias, y remite a rastreabilidad, contenido de calidad y experiencia de página. Su documentación de rastreadores describe Google-Extended, un token de robots.txt que controla si el contenido rastreado puede usarse para entrenar Gemini y para grounding. Ninguna de las dos páginas menciona llms.txt.
• OpenAI. La descripción de rastreadores de OpenAI documenta OAI-SearchBot, usado para mostrar sitios en los resultados de las funciones de búsqueda de ChatGPT; GPTBot, usado para entrenamiento; y ChatGPT-User, que descarga páginas para ciertas acciones del usuario y que, según OpenAI, puede no seguir robots.txt. De ninguno se dice que lea llms.txt.
• Perplexity. La documentación de bots de Perplexity describe PerplexityBot, que muestra sitios en sus resultados de búsqueda, y Perplexity-User, que puede visitar una página para responder una pregunta y que en general ignora robots.txt. De ninguno se documenta que lea llms.txt de otros sitios.

La documentación es lo que un proveedor se compromete a cumplir, y sobre este archivo no dice nada.

En la práctica: si un asistente menciona o recomienda tu marca, es porque su paso de búsqueda encontró y leyó tus páginas, o páginas sobre ti, y las consideró relevantes. Nada documentado sugiere que llms.txt cambie eso. Para saber qué sí mueve esas respuestas, lee cómo aparecer en las respuestas de IA.

Cómo se relaciona con robots.txt y los sitemaps

Los tres archivos se mencionan juntos con frecuencia, pero hacen trabajos distintos, y solo dos tienen lectores documentados.

robots.txt dice a qué URLs puede acceder un rastreador. Es un estándar formal, el RFC 9309, y todos los rastreadores importantes documentan cómo lo obedecen. Google aclara que no es un mecanismo para mantener una página fuera de Google. Para la IA, también es donde permites o bloqueas los agentes mencionados arriba. Según la descripción de los propios proveedores, OAI-SearchBot y PerplexityBot son los que muestran sitios en sus resultados de búsqueda, así que bloquearlos equivale a salir de ellos; bloquear GPTBot o Google-Extended afecta el entrenamiento y el grounding, no la búsqueda.

Un sitemap lista las URLs de tu sitio para que los buscadores las encuentren. El protocolo Sitemap es XML, solo exige la ubicación de cada URL y lo leen todos los buscadores importantes. Es una ayuda para descubrir páginas, no una descripción.

llms.txt no es ninguna de las dos cosas. No concede ni niega acceso, y no es una lista completa de URLs. Es un resumen escrito por una persona con una lista de lectura corta, dirigido a un modelo y no a un rastreador, sin lectores documentados entre los grandes proveedores. Si robots.txt es la puerta y el sitemap es el mapa, llms.txt es una nota en la entrada que dice de qué trata el lugar.

¿Deberías publicar uno?

Probablemente sí, con las expectativas en proporción. El archivo se escribe en una hora, no cuesta nada servirlo y no puede perjudicarte si dice la verdad. Podría ayudar con alguna herramienta que sí lo lea. No debería ser la razón para saltarte el trabajo que sí está documentado que importa.

1. Revisa primero robots.txt. Asegúrate de que los rastreadores de búsqueda con IA que quieres estén permitidos, y de que cualquier bloqueo a bots de entrenamiento sea deliberado. Es el único archivo que todos los proveedores documentan.
2. Mantén el sitemap al día, con fechas correctas en las páginas nuevas.
3. Haz que las páginas importantes se lean bien como texto. Encabezados claros, la respuesta cerca del inicio, los datos dichos de forma directa. Eso es lo que un asistente con búsqueda realmente lee.
4. Después escribe llms.txt. Un H1, una cita honesta, unas pocas secciones con las páginas que un comprador necesitaría y una sección Optional para el resto. Mantenlo al ritmo del sitio; un archivo desactualizado es peor que ninguno.

Dos advertencias. No pongas en llms.txt afirmaciones que no estén en las páginas que enlaza; si un modelo lee ambos, la contradicción es un motivo para desconfiar del archivo. Y escríbelo en el idioma del mercado al que sirve, o enlaza cada versión de idioma de forma explícita, porque las preguntas de los compradores en México y en Brasil no son traducciones unas de otras. La guía sobre por qué las respuestas de IA cambian según el país explica por qué.

Cómo aborda VozRadar el llms.txt

VozRadar publica uno en vozradar.com/llms.txt: un H1, una cita que describe el producto, un párrafo corto sobre cómo funciona, una sección Pages que enlaza el inicio, la página acerca de, los mercados, las guías y las comparativas, y una sección Optional para la política de privacidad y los términos. Se mantiene al ritmo del sitio y no afirma nada que el sitio no afirme.

No lo tratamos como una palanca de visibilidad, porque nada documentado dice que lo sea. VozRadar mide si una marca es mencionada, recomendada y citada en superficies de respuesta con búsqueda web identificadas por nombre, y reporta cada una como una tasa con su tamaño de muestra; que un sitio tenga o no un llms.txt no es una entrada de esas tasas. Si un cliente quiere probar el archivo de todos modos, para eso está el Registro de experimentos: registrar la línea base, publicar el archivo en una fecha conocida y seguir la ventana de observación. El resultado a menudo será "sin cambio claro", y eso también es útil saberlo. La guía sobre cómo medir la visibilidad en IA explica el método.