Actualitzat el 10 de novembre de 2026.
Des de fa dos anys, moltes empreses han afegit una línia al seu fitxer robots.txt per «bloquejar la IA». La intenció sol ser bona: no es vol que el propi contingut serveixi per entrenar models sense permís. Però, segons la línia afegida, també es pot desaparèixer de les respostes de ChatGPT sense saber-ho.
Deixar que el robot adequat llegeixi el seu web és el més tècnic dels tres passos per aparèixer a ChatGPT, i l’únic que ho pot bloquejar tot per si sol. Bona notícia: es comprova en dos minuts.
El robots.txt és un petit fitxer de text situat a l’arrel del seu web (el-seu-lloc.com/robots.txt). Indica als robots dels cercadors i dels assistents d’IA quines parts del lloc poden explorar. Cada robot té un nom, i se li poden donar regles particulars.
OpenAI fa servir diversos robots, i aquí comença la confusió. Segons la seva documentació, cadascun es configura de manera independent dels altres.
| Robot | Què fa | Si el bloqueja |
|---|---|---|
| OAI-SearchBot | Explora els llocs per mostrar-los a la cerca de ChatGPT. | El seu web deixa d’aparèixer en les respostes de cerca de ChatGPT (encara pot aparèixer com a simple enllaç de navegació). |
| GPTBot | Explora contingut que pot servir per entrenar els models d’OpenAI. | El seu contingut no s’hauria de fer servir per a l’entrenament. Cap efecte en la cerca. |
| ChatGPT-User | Visita una pàgina quan un usuari ho demana a ChatGPT. | Pot ser que les regles del robots.txt no s’apliquin, ja que la visita ve d’una petició d’un usuari. No serveix per decidir qui apareix a la cerca. |
| OAI-AdsBot | Comprova les pàgines enviades com a destinació d’un anunci a ChatGPT. | Només afecta els anunciants. |
La clau: bloquejar GPTBot no el retira de la cerca, i bloquejar OAI-SearchBot no el protegeix de l’entrenament. Són dues decisions separades.
Si vol que el trobin a ChatGPT, però no que el seu contingut serveixi per entrenar els models, aquestes són les regles que ha d’afegir al seu robots.txt:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Si, al contrari, ho vol permetre tot, no ha d’escriure res d’especial: un robots.txt que no bloqueja aquests robots els deixa passar. A devjpt.com, per exemple, el robots.txt acull tots els robots, inclosos els dels assistents d’IA, i només n’exclou l’administració i algunes pàgines sense valor.
Compte amb la regla més perillosa, que encara es troba en alguns llocs:
User-agent: *
Disallow: /Bloqueja tots els robots que no tenen una regla particular, inclosos OAI-SearchBot i Bingbot. De vegades es deixa per error després de publicar un lloc que estava en desenvolupament.
Finalment, OpenAI precisa que cal comptar unes 24 hores després de modificar el robots.txt perquè els seus sistemes de cerca s’hi ajustin.
Un robots.txt perfecte no sempre n’hi ha prou. Alguns proveïdors d’allotjament, xarxes de distribució de continguts (CDN) i extensions de seguretat bloquegen els robots d’IA per defecte, o els tracten com a trànsit sospitós. En aquest cas, el robot rep un error o una pàgina de verificació, i no llegeix mai el seu contingut.
OpenAI ho esmenta explícitament: per poder aparèixer a la cerca, el seu proveïdor d’allotjament o el seu CDN ha de deixar passar el trànsit que ve de les adreces IP publicades del seu robot. Aquestes adreces són públiques, en un fitxer que facilita OpenAI (openai.com/searchbot.json).
Si no gestiona vostè mateix l’allotjament, pregunti simplement al seu proveïdor: «Bloquegeu OAI-SearchBot, GPTBot o Bingbot?». Aprofiti per comprovar Bingbot, ja que Bing també forma part dels proveïdors de cerca de ChatGPT.
El més ràpid: introdueixi la seva adreça al verificador de robots.txt per a la IA. Aplica les seves regles a cada robot d’OpenAI, Microsoft, Google, Anthropic i Perplexity. Per comprovar-ho a mà:
No. GPTBot serveix per a l’entrenament dels models. Segons OpenAI, cada ajust és independent: pot bloquejar GPTBot i autoritzar OAI-SearchBot, que serveix per a la cerca.
No sempre. ChatGPT-User visita una pàgina quan un usuari ho demana. Com que l’acció ve de l’usuari, OpenAI indica que pot ser que les regles del robots.txt no s’apliquin. Aquest robot no serveix per decidir qui apareix a la cerca: per a això compta OAI-SearchBot.
OpenAI parla d’unes 24 hores després de modificar el robots.txt perquè els seus sistemes de cerca s’hi ajustin. Que el citin realment depèn després del contingut de les seves pàgines.
Sí. Alguns tallafocs i serveis de protecció contra robots bloquegen els robots d’IA per defecte. Pregunti al seu proveïdor si deixa passar les adreces IP publicades per OpenAI per a OAI-SearchBot.
No és necessari per a la cerca de ChatGPT. La documentació d’OpenAI sobre els seus robots només esmenta el robots.txt i les seves adreces IP. Un fitxer llms.txt pot ajudar a presentar el seu web als assistents, però no substitueix ni un robots.txt ben configurat ni pàgines que responguin de veritat a les preguntes. Explico la seva funció real a l’article sobre el fitxer llms.txt i els assistents d’IA.