llms.txt y rastreadores de IA: qué es, qué dicen los motores y cómo tratar a GPTBot, ClaudeBot y compañía en robots.txt

Hay dos ficheros de texto en la raíz de tu web que salen en cualquier conversación sobre IA y visibilidad: llms.txt, que es nuevo y del que se habla mucho, y robots.txt, que tiene treinta años y del que depende de verdad que un motor pueda citarte. Este artículo explica qué es cada uno, qué han dicho los motores, qué rastreadores existen y para qué sirve cada uno, y qué poner en robots.txt según lo que quieras. Todo lo que afirmamos sobre un rastreador sale de la documentación oficial de su empresa, enlazada al final.

Qué es llms.txt

llms.txt es una propuesta para colocar en la raíz de un sitio web (/llms.txt) un fichero en Markdown que explique en pocas líneas qué es el sitio y enlace a sus páginas importantes, en un formato que un modelo de lenguaje pueda leer sin pelearse con menús, banners y scripts. La propuso Jeremy Howard, cofundador de Answer.AI y fast.ai, el 3 de septiembre de 2024 en llmstxt.org.

El formato es sencillo: un título H1 con el nombre del sitio, una cita en bloque con un resumen, y secciones H2 con listas de enlaces y una descripción de cada uno. La propuesta recomienda además publicar versiones en Markdown limpio de las páginas que un agente pueda necesitar (por ejemplo, añadiendo .md a la URL). Muchas plataformas de documentación lo generan de forma automática, y llmstxt.org señala que los propios laboratorios (OpenAI, Anthropic y Google) publican uno para su documentación de desarrolladores.

Conviene tener claro para qué se pensó: para documentación técnica que un agente de programación consulta durante una tarea. No se pensó para que ChatGPT decida qué fontanero recomendar en Móstoles.

Qué dicen los motores sobre llms.txt

Ningún motor de búsqueda ni de respuesta con IA ha dicho que use llms.txt para decidir qué páginas leer o citar. A fecha de esta consulta no hemos encontrado ninguna declaración oficial de OpenAI, Anthropic, Perplexity ni Google que lo diga; y en sentido contrario sí la hay: John Mueller, de Google, escribió en Bluesky el 17 de junio de 2025 que «ningún sistema de IA usa actualmente llms.txt», y añadió que, mirando los registros del servidor, los chatbots buscan tus páginas pero no piden ese fichero.

FWIW no AI system currently uses llms.txt.

Google, además, es explícito sobre sus funciones de IA: «no hay requisitos adicionales para aparecer en AI Overviews o en AI Mode, ni son necesarias otras optimizaciones especiales». Hace falta lo mismo que para la búsqueda normal: estar indexado y poder mostrarse con un fragmento.

Nuestra recomendación: publicar un llms.txt no hace daño, cuesta diez minutos y puede ayudar a un agente que llegue a tu web con una tarea. Pero no es una técnica de visibilidad y no sustituye a nada. Si solo vas a hacer una cosa, revisa robots.txt.

Los rastreadores de IA que importan y para qué sirve cada uno

Cada empresa de IA tiene varios agentes con nombres y funciones distintas, y lo que decides para uno no aplica al otro. Esta es la lista, con la función que declara cada empresa en su documentación.

Fíjate en un detalle: los agentes «de usuario» (ChatGPT-User, Claude-User, Perplexity-User) se comportan como si fueras tú abriendo la página en un navegador, y por eso dos de las tres empresas avisan de que pueden no seguir robots.txt. No son rastreadores masivos: visitan una URL concreta cuando alguien la pide.

Bloquear el entrenamiento no es bloquear la búsqueda

La confusión más cara que vemos es bloquear «la IA» en bloque para proteger el contenido y, sin querer, desaparecer de las respuestas. Cada empresa separa las dos cosas con agentes distintos, precisamente para que puedas decidir por separado.

• Entrenamiento: GPTBot, ClaudeBot, Google-Extended y Applebot-Extended. Bloquearlos dice «no uses mi contenido para entrenar modelos». No te quita de ninguna respuesta con búsqueda.
• Búsqueda y citación: OAI-SearchBot, Claude-SearchBot y PerplexityBot. Bloquearlos dice «no me muestres en tus resultados». OpenAI lo escribe sin rodeos: los sitios que bloquean OAI-SearchBot «no se mostrarán en las respuestas de búsqueda de ChatGPT».
• Google es un caso aparte: AI Overviews y AI Mode se alimentan del índice normal de Googlebot. Google-Extended solo controla el entrenamiento y el grounding de Gemini y Vertex AI, y Google afirma que no afecta a la inclusión ni al ranking en la búsqueda.

Qué poner en robots.txt según lo que quieras

robots.txt es un fichero de texto en la raíz del dominio con bloques User-agent y reglas Allow y Disallow. Los rastreadores que hemos listado declaran respetarlo, salvo los agentes de usuario que avisan de lo contrario. Tres configuraciones habituales, de la más abierta a la más cerrada.

Quiero salir en todas las respuestas y no me importa el entrenamiento

No pongas nada específico para estos agentes. Un robots.txt que solo bloquee lo de siempre (carpetas de administración, resultados de búsqueda interna) deja pasar a todos. Es lo que recomendamos a la mayoría de negocios de servicios: su contenido no es un activo que proteger, es su escaparate.

Quiero salir en las respuestas pero no alimentar el entrenamiento

Bloquea solo los agentes de entrenamiento y deja pasar a los de búsqueda. En robots.txt sería, un bloque por agente: «User-agent: GPTBot» con «Disallow: /»; lo mismo para ClaudeBot, Google-Extended y Applebot-Extended. Y nada para OAI-SearchBot, Claude-SearchBot ni PerplexityBot, que así siguen entrando. Es la configuración de la mayoría de medios que hemos revisado.

No quiero que ninguna IA lea mi web

Bloquea todos los de la tabla, de entrenamiento y de búsqueda. Asume las consecuencias: tu web no saldrá en ChatGPT, Claude ni Perplexity cuando alguien pregunte por tu sector, y los agentes de usuario pueden entrar igual si una persona pide tu URL. Google seguirá mostrándote en AI Overviews mientras estés indexado, salvo que uses nosnippet o noindex, que son los controles que Google indica para sus funciones de IA.

Dos precauciones. Primera: los nombres importan; «GPTbot» con minúscula o «OpenAI-SearchBot» no bloquean nada. Segunda: robots.txt es una petición educada, no una cerradura; para un bloqueo real hace falta hacerlo en el servidor o en el CDN, y ahí es donde suelen aparecer los bloqueos accidentales.

Y entonces, ¿publico llms.txt o no?

Publícalo si te cuesta poco, sin esperar nada de él. Un llms.txt con el nombre del negocio, dos líneas de qué haces y dónde, y enlaces a tus cinco páginas de servicio no molesta y puede servir a un agente. Lo que decide si te citan es otra cosa: que los rastreadores de búsqueda puedan entrar, que tus páginas contesten preguntas de compra con datos, y que estés en las fuentes que los motores leen. Lo explicamos en cómo aparecer en ChatGPT, y los términos que aparecen por el camino están en el glosario.