En teoría la respuesta es que si. Estos ficheros ayudan a los motores de IA a leer el contenido de tu web de una manera más sencilla y rápida.
El formato llms.txt fue propuesto originalmente por Jeremy Howard (creador de fast.ai y figura clave en el ecosistema de inteligencia artificial) a mediados de 2024. Su propuesta nació de un problema recurrente al intentar alimentar a modelos de lenguaje (LLM) con documentación web existente.
¿Qué problema resuelve el fichero llms.txt?
Las páginas web tradicionales están diseñadas para humanos o buscadores clásicos:
- Contienen menús de navegación, barras laterales, pies de página, scripts de JavaScript y anuncios (ruido para un LLM).
- Requieren procesar decenas de archivos HTML, peticiones HTTP y renders complejos para extraer la información relevante.
- Superan o malgastan la ventana de contexto (context window) de los modelos con etiquetas HTML innecesarias.
¿Por qué es una buena práctica para la web añadir un fichero llms.txt al directorio?
Un archivo /llms.txt ubicado en la raíz de un dominio (ejemplo: [ejemplo.com/llms.txt](https://ejemplo.com/llms.txt)) actúa como un mapa directo y limpio redactado en Markdown, pensado específicamente para que lo consuma un modelo de IA.
- Ahorro de Tokens y Cómputo: Proporciona directamente el contenido relevante en texto plano/Markdown, reduciendo el gasto de tokens tanto para el desarrollador/modelo como para el ancho de banda del sitio web.
- Curación del contenido relevante: El dueño del sitio web elige exactamente qué páginas, APIs o guías debe leer el modelo para entender el proyecto, evitando que los crawlers de IA procesen código innecesario o páginas secundarias.
- Estructura estandarizada: Sigue una estructura intuitiva dividida en secciones con enlaces a archivos
.mdo.txtlimpios, facilitando técnicas como RAG (Retrieval-Augmented Generation):
Markdown
# Nombre del Proyecto
> Breve descripción de un párrafo sobre qué hace el proyecto o sitio.
## Documentación principal
- [Visión general](https://ejemplo.com/docs/overview.md): Explicación inicial del sistema.
- [API Reference](https://ejemplo.com/docs/api.md): Endpoints y respuestas principales.
## Archivos opcionales
- [Ejemplos completos](https://ejemplo.com/docs/full-examples.md)
Diferencia con robots.txt y sitemap.xml
| Archivo | Objetivo principal | Audiencia |
robots.txt | Definir reglas de acceso y restricciones de rastreo. | BOTS / Crawlers |
sitemap.xml | Indexar URLs para motores de búsqueda tradicionales. | Motores de búsqueda (Google, Bing) |
llms.txt | Ofrecer contenido resumido, limpio y contextualizado en Markdown. | Modelos de Lenguaje (LLMs / Agentes) |
Implementar un archivo llms.txt facilita que asistentes de IA, agentes y herramientas como Cursor, ChatGPT o Claude consuman la documentación de un sitio web de forma rápida, precisa y con cero fricción visual.
No, no debes crear un archivo llms.txt para cada página individual.
El archivo llms.txt está concebido para ubicarse únicamente en la raíz de tu sitio web (por ejemplo, [tudominio.com/llms.txt](https://tudominio.com/llms.txt)), exactamente igual que un archivo robots.txt o un sitemap.xml.
¿Cómo funciona el archivo único?
El archivo raíz centraliza la información e indica a la IA cómo navegar y consultar el resto de tu contenido. Su función no es sustituir el contenido de toda la web en un solo punto, sino actuar como una guía o catálogo:
- Ubicación única: Se coloca en
[https://tudominio.com/llms.txt](https://tudominio.com/llms.txt). - Índice de enlaces limpios: Dentro de ese único archivo, incluyes enlaces directos a versiones en texto plano o Markdown (
.md/.txt) de las páginas clave de tu web (documentación, tutoriales, guías, etc.).
Estructura de navegación para IA
En lugar de crear múltiples archivos llms.txt, la estructura recomendada sigue este flujo:
Plaintext
/llms.txt <-- (Archivo único en la raíz con el mapa de enlaces)
│
├── /docs/inicio.md <-- (Páginas de contenido limpio que la IA consulta)
├── /docs/api.md
└── /docs/precios.md
La variante llms-full.txt
Si tu sitio web o documentación no es excesivamente grande, la especificación también contempla la opción de crear un archivo secundario llamado llms-full.txt (ubicado también únicamente en la raíz: [tudominio.com/llms-full.txt](https://tudominio.com/llms-full.txt)).
En este archivo opcional sí puedes concatenar todo el texto relevante de tu sitio web en un solo documento gigante, permitiendo que un modelo de lenguaje lea todo tu proyecto de una sola pasada si su ventana de contexto lo permite.