Visibilidad en la IA

Verificador de robots.txt y llms.txt para la IA

Introduzca la dirección de su sitio: la herramienta lee su robots.txt y su llms.txt y le dice si ChatGPT, Bing, Google, Claude y Perplexity tienen permiso para leer su sitio. Es gratis y sin registro.

La herramienta solo lee los archivos públicos /robots.txt y /llms.txt del sitio. No se guarda ninguna dirección.

Cómo leer los resultados

La herramienta aplica las reglas de su robots.txt a cada robot, según el estándar del protocolo (RFC 9309), y los clasifica en tres familias:

Si la herramienta indica que hay otras rutas bloqueadas, es normal: la mayoría de los sitios prohíben, por ejemplo, su zona de administración. Para comprobar una página concreta, cambie la ruta comprobada. Para ver un ejemplo paso a paso y las correcciones que hay que hacer, lea cómo saber si ChatGPT puede leer su sitio (en inglés).

Lo que la herramienta no puede ver

Un robots.txt bien configurado no garantiza que los robots entren. Algunos proveedores de alojamiento, cortafuegos y redes de distribución (CDN) bloquean a los robots de IA según su dirección IP, algo que ninguna herramienta externa puede comprobar de forma fiable. Si el verificador no consigue leer su sitio, ya es una pista: puede que un cortafuegos bloquee también a los visitantes automáticos. Pregunte a su proveedor de alojamiento. Explico esta trampa en el artículo sobre el robots.txt y los robots de ChatGPT (en inglés).

Para el llms.txt, la herramienta comprueba la estructura prevista por la propuesta de llmstxt.org: un título, un resumen, secciones y listas de enlaces. Recuerde que ningún gran buscador se ha comprometido a usarlo: vea lo que hace de verdad el archivo llms.txt (en inglés).

Preguntas frecuentes

Si todo está permitido, ¿aparecerá mi sitio en ChatGPT?

No necesariamente. Un robots.txt abierto hace que su sitio se pueda leer, que es una condición de partida. Que le citen depende después de sus páginas, de su presencia en Bing y de las demás fuentes que consulta ChatGPT.

¿Por qué Googlebot está permitido, pero Google-Extended está bloqueado?

Son dos ajustes distintos. Googlebot sirve a la búsqueda de Google. Google-Extended indica si Google puede usar su contenido para entrenar Gemini y fundamentar sus respuestas; según Google, no tiene ningún efecto en su presencia en la búsqueda.

¿Por qué la herramienta dice que no se puede acceder a mi robots.txt?

Puede que el sitio esté caído o que un cortafuegos bloquee a los visitantes automáticos como nuestro verificador. Si su robots.txt se abre bien en su navegador, use la pestaña «Pegar un archivo» y hable del cortafuegos con su proveedor de alojamiento.

¿La herramienta guarda los sitios comprobados?

No. Solo lee los archivos públicos /robots.txt y /llms.txt y guarda el resultado en memoria diez minutos para no volver a cargar el mismo sitio. El texto pegado, en cambio, se analiza en su navegador.

Compartir este artículo