Qué es llms.txt y por qué tu sitio web podría necesitar uno

Seguramente ya has escuchado sobre llms.txt si has estado siguiendo el espacio de la IA últimamente. Piensa en él como robots.txt pero para LLMs.

El problema que resuelve

Los LLMs tienen un problema fundamental: las ventanas de contexto. Solo pueden procesar una cantidad limitada de texto a la vez. Cuando una IA intenta entender tu sitio web, se encuentra con varios problemas:

• El HTML es un desorden — navegación, anuncios, scripts y contenido real, todo mezclado
• Los sitios web son enormes — la mayoría tiene cientos de páginas
• La estructura varía mucho — cada sitio hace las cosas diferente

Convertir un sitio web complejo en algo que un LLM pueda realmente usar es difícil. Ahí es donde entra llms.txt.

¿Qué es llms.txt?

Jeremy Howard (cofundador de Answer.AI) propuso esto en septiembre de 2024. Es básicamente un archivo markdown en la raíz de tu sitio web que proporciona:

• una vista rápida de tu sitio
• de qué trata cada sección
• enlaces a lo importante con descripciones
• contexto que ayuda a la IA a entender lo que ofreces

Es un índice curado construido específicamente para máquinas.

El formato

Es simplemente markdown plano. Aquí está la estructura básica:

# Site Name

> Brief tagline or description

## About
A paragraph explaining what this site is and who it's for.

## Site Structure
- Homepage: / - What visitors find here
- Documentation: /docs - Technical guides and API references
- Blog: /blog - Articles and updates

## Key Pages
- [Getting Started](/docs/getting-started) - First steps for new users
- [API Reference](/docs/api) - Complete API documentation

## Contact
- Email: hello@example.com
- GitHub: github.com/example

Ejemplo del mundo real

Esto es lo que uso para este sitio:

# Jo Vinkenroye - Web Application Developer

> Building ERP systems, SaaS platforms, and modern web applications

## About
Senior developer with 13+ years of experience specializing in
React, Next.js, blockchain development, and AI integration.

## Site Structure
- Homepage: / - Overview of skills, experience, and projects
- Experience: /experience - Detailed work history
- Blog: /blog - Technical articles and project write-ups

## Blog Posts
- Building a Tamagotchi on Garmin: /blog/garmigotchi
- Ad-Forge - AI-Powered Ad Generation: /blog/ad-forge

¿Deberías añadir uno?

Bien, aquí va la verdad honesta: ninguna empresa importante de IA ha dicho oficialmente que use llms.txt al rastrear. Es un estándar propuesto, no uno adoptado.

Pero la adopción está creciendo. Anthropic, Cloudflare, Vercel, Cursor — todos lo han implementado. Mintlify lo desplegó en toda su documentación alojada a finales de 2024.

Añade uno si:

• tienes documentación o contenido técnico
• quieres ser de los primeros en algo potencialmente importante
• estás construyendo para descubrimiento nativo de IA
• toma 10 minutos y no cuesta nada

Pásalo por alto si:

• tu sitio es mayormente contenido visual
• estás esperando la adopción oficial

Implementación en Next.js

Si estás en Next.js con el App Router, puedes crear una ruta dinámica:

// app/llms.txt/route.ts
Export async function GET() {
  const content = `# Your Site Name

> Your tagline here

## About
Your description...

## Key Pages
- Homepage: / - Main landing page
- Blog: /blog - Articles and guides
`;

  return new Response(content, {
    headers: {
      'Content-Type': 'text/plain; charset=utf-8',
    },
  });
}

Para contenido dinámico como posts de blog, puedes generarlo programáticamente:

// app/llms.txt/route.ts
Import { getAllPosts } from '@/lib/blog';

Export async function GET() {
  const posts = getAllPosts();

  const blogSection = posts
    .map(post => `- ${post.title}: /blog/${post.slug}`)
    .join('\n');

  const content = `# My Site

## Blog Posts
${blogSection}
`;

  return new Response(content, {
    headers: { 'Content-Type': 'text/plain; charset=utf-8' },
  });
}

Herramientas y recursos

Algunas herramientas pueden ayudarte a configurar esto:

• llms_txt2ctx — CLI para analizar y generar contexto
• vitepress-plugin-llms — Integración con VitePress
• docusaurus-plugin-llms — Integración con Docusaurus
• GitBook — genera automáticamente para toda la documentación alojada

El panorama general

Sea o no que llms.txt se convierta en un estándar universal, el problema que resuelve no va a desaparecer. Los modelos de IA seguirán necesitando acceso estructurado al contenido web.

Al implementarlo ahora estás:

1. Haciendo tu contenido más accesible para las herramientas de IA actuales
2. Preparándote para una potencial adopción futura
3. Pensando en el contenido desde una perspectiva orientada a la IA

Ese último punto podría ser el más valioso. A medida que la IA se convierte en una forma principal de descubrir contenido, la legibilidad para máquinas se vuelve tan importante como la legibilidad para humanos.

Conclusión

llms.txt es simple y requiere poco esfuerzo, pero podría dar frutos a medida que crece el descubrimiento nativo de IA. Toma minutos implementarlo y señala que tu sitio está listo para la web orientada a la IA.

Consulta la especificación oficial para más detalles, o mira cómo lo han hecho Anthropic y Vercel.