Actualitzat el 10 de novembre de 2026.
«ChatGPT veu el meu web?». Sovint és la primera pregunta que es fa una pime quan comença a interessar-se pels assistents d’IA. Una bona posició a Google no hi respon: ChatGPT té els seus propis robots, i el seu web els pot tancar la porta sense que ningú se n’adoni.
Deixar entrar aquests robots és la condició de partida per aparèixer a ChatGPT. Per comprovar-ho sense llegir codi, he creat un verificador gratuït de robots.txt i llms.txt. Així es fa servir, així se’n llegeixen els resultats i això és el que cal corregir.
Hi ha tres situacions freqüents:
En els tres casos, el web funciona amb normalitat per a les persones. Res no alerta el propietari.
Per defecte, l’eina prova la pàgina d’inici (el camí «/»). Per comprovar una pàgina concreta, com la seva pàgina de serveis, canviï el camí comprovat. I si el seu web rebutja els visitants automàtics, faci servir la pestanya «Enganxar un fitxer»: copia el seu robots.txt des del navegador i l’anàlisi es fa sense enviar res.
La taula classifica els robots en tres famílies: la cerca (la seva visibilitat), les visites sol·licitades per un usuari i l’entrenament dels models. Un robot d’entrenament bloquejat, com GPTBot, no és un problema de visibilitat: és una elecció.
No es preocupi si l’eina indica que altres camins estan bloquejats. La majoria de llocs prohibeixen la seva zona d’administració, i està molt bé que sigui així.
L’eina li mostra la regla exacta que bloqueja, per exemple «Disallow: /» al grup «*». Segons el cas:
Després d’una correcció, torni a fer la comprovació. OpenAI indica que els seus sistemes de cerca tenen en compte un canvi del robots.txt en unes 24 hores.
El verificador també mira si el seu web té un fitxer llms.txt i si respecta el format proposat: un títol, un resum, seccions i llistes d’enllaços. Si no en té, no passa res: aquest fitxer és opcional, i ni Google ni OpenAI no diuen que el facin servir per triar a qui citen. Explico la seva funció real a l’article sobre el fitxer llms.txt.
Mentre escrivia aquesta sèrie d’articles, comprovava els fitxers robots.txt a mà, robot per robot. És llarg, i és fàcil equivocar-se: un fitxer pot contenir diversos grups, comodins, excepcions. Així que vaig programar una eina que aplica les regles com preveu l’estàndard del robots.txt, per als principals robots d’OpenAI, Microsoft, Google, Anthropic i Perplexity.
És gratuïta, sense registre, i no guarda cap llista dels llocs comprovats. També té els seus límits, que mostra amb claredat: no pot veure un bloqueig per adreça IP, i alguns robots que actuen a petició d’un usuari no sempre segueixen el robots.txt.
Sí, és gratuït i sense registre. Per evitar abusos, el nombre de comprovacions es limita a unes quantes cada deu minuts per visitant.
No. L’eina només llegeix els fitxers públics /robots.txt i /llms.txt i guarda el resultat en memòria deu minuts, per no tornar a carregar el mateix lloc. El text enganxat a la pestanya «Enganxar un fitxer» s’analitza al seu navegador.
Sí. El robots.txt i el llms.txt són fitxers públics, que qualsevol visitant pot obrir. Comparar-se amb els competidors pot ser, a més, instructiu.
Després de cada redisseny, canvi de proveïdor d’allotjament o instal·lació d’una extensió de seguretat. Són els moments en què una regla de bloqueig s’instal·la més sovint sense que ningú se n’adoni.
No. Un web llegible és una condició de partida, no una garantia. Que el citin depèn després de les seves pàgines, de la seva presència a Bing i, si és possible en el seu cas, de la seva fitxa d’empresa a ChatGPT.