Vérificateur robots.txt et llms.txt pour l'IA

Entrez l’adresse de votre site : l’outil lit votre robots.txt et votre llms.txt, puis vous dit si ChatGPT, Bing, Google, Claude et Perplexity ont le droit de lire votre site. C’est gratuit et sans inscription.

Comment lire les résultats

L’outil applique les règles de votre robots.txt à chaque robot, selon la norme du protocole (RFC 9309), et les classe en trois familles :

• Recherche et réponses. Ce sont les robots qui comptent pour votre visibilité : OAI-SearchBot pour la recherche de ChatGPT, Bingbot pour Bing et Copilot, Googlebot pour Google, Claude-SearchBot et PerplexityBot. Pour apparaître dans ChatGPT, OAI-SearchBot doit être autorisé.
• Visites demandées par un utilisateur. ChatGPT-User, Claude-User et Perplexity-User visitent une page quand quelqu’un le demande. Selon OpenAI et Perplexity, leurs robots de ce type peuvent ne pas suivre le robots.txt.
• Entraînement des modèles. GPTBot, ClaudeBot et Google-Extended. Les bloquer ne vous retire pas des résultats de recherche : c’est un choix séparé.

Si l’outil indique que d’autres chemins sont bloqués, c’est normal : la plupart des sites interdisent par exemple leur zone d’administration. Pour vérifier une page précise, changez le chemin testé. Pour un exemple pas à pas et les corrections à faire, lisez comment savoir si ChatGPT peut lire votre site.

Ce que l’outil ne peut pas voir

Un robots.txt bien réglé ne garantit pas que les robots entrent. Certains hébergeurs, pare-feu et réseaux de diffusion (CDN) bloquent les robots d’IA selon leur adresse IP, ce qu’aucun outil externe ne peut vérifier de façon fiable. Si le vérificateur n’arrive pas à lire votre site, c’est d’ailleurs un indice : un pare-feu bloque peut-être aussi les visiteurs automatiques. Posez la question à votre hébergeur. J’explique ce piège dans l’article sur le robots.txt et les robots de ChatGPT.

Pour le llms.txt, l’outil vérifie la structure prévue par la proposition llmstxt.org : un titre, un résumé, des sections et des listes de liens. Rappelez-vous qu’aucun grand moteur ne s’est engagé à s’en servir : voyez ce que le fichier llms.txt fait vraiment.

Questions fréquentes

Si tout est autorisé, mon site apparaîtra-t-il dans ChatGPT ?

Pas forcément. Un robots.txt ouvert rend votre site lisible, ce qui est une condition de départ. Être cité dépend ensuite de vos pages, de votre présence dans Bing et des autres sources que ChatGPT consulte.

Pourquoi Googlebot est autorisé, mais Google-Extended bloqué ?

Ce sont deux réglages différents. Googlebot sert la recherche Google. Google-Extended indique si Google peut utiliser votre contenu pour entraîner Gemini et ancrer ses réponses ; selon Google, il n’a aucun effet sur votre présence dans la recherche.

Pourquoi l’outil dit-il que mon robots.txt est inaccessible ?

Le site est peut-être hors ligne, ou un pare-feu bloque les visiteurs automatiques comme notre vérificateur. Si votre robots.txt s’ouvre bien dans votre navigateur, utilisez l’onglet « Coller un fichier » et parlez du pare-feu à votre hébergeur.

L’outil enregistre-t-il les sites vérifiés ?

Non. Il lit seulement les fichiers publics /robots.txt et /llms.txt et garde le résultat en mémoire dix minutes pour éviter de recharger le même site. Le texte collé, lui, est analysé dans votre navigateur.