Cómo usar el generador
- Elija una plantilla o el acceso predeterminado: permitir o bloquear todo el rastreo.
- Introduzca las rutas: prohibidas y excepciones permitidas, una por línea.
- Añada las URL de los sitemaps y, si quiere, un Crawl-delay.
- Ajuste los bots uno a uno: buscadores y bots de IA en Predeterminado, Permitir o Bloquear.
- Pruebe una URL, copie o descargue el robots.txt y colóquelo en la raíz de su dominio.
¿Qué es el robots.txt?
El robots.txt es un archivo de texto sencillo situado en la raíz de un sitio, accesible en https://su-dominio.es/robots.txt. Indica a los rastreadores qué zonas pueden visitar. Desde 2022, el formato está normalizado en la RFC 9309. Cada grupo empieza con una o varias líneas User-agent, seguidas de reglas Disallow y Allow. Las líneas Sitemap apuntan a sus sitemaps XML. Importante: el robots.txt es una petición, no una protección de acceso. Los rastreadores serios lo respetan; los bots maliciosos, no.
Controlar los bots de IA con precisión
Cada vez más rastreadores recopilan contenido para la inteligencia artificial. El generador distingue tres finalidades, con consecuencias muy distintas para su sitio:
| Finalidad | Ejemplos | Efecto de bloquearlos |
|---|---|---|
| Entrenamiento de IA | GPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgent | su contenido no se usa para entrenar futuros modelos |
| Búsqueda con IA | OAI-SearchBot, Claude-SearchBot, PerplexityBot | su sitio aparece menos en las respuestas de los buscadores con IA |
| Iniciado por el usuario | ChatGPT-User, Claude-User, Perplexity-User | los asistentes de IA no pueden consultar su página cuando un usuario lo pide |
La plantilla «Bloquear solo el entrenamiento de IA» bloquea los bots de entrenamiento pero permite la búsqueda y las consultas, un compromiso habitual. «Bloquear todos los bots de IA» bloquea todos los de la lista. Google-Extended solo controla el uso por los modelos de IA de Google y no afecta a la búsqueda de Google clásica.
Cómo aplican los rastreadores las reglas
Un rastreador solo sigue el grupo más específico que lo nombra e ignora entonces el grupo general User-agent: *. Por eso, si permite explícitamente un bot, el generador copia automáticamente sus rutas prohibidas predeterminadas en ese grupo, para que no explore /admin/. Dentro de un grupo gana la regla coincidente más larga; en caso de empate, gana Allow. Comodines: * para cualquier secuencia de caracteres y $ para el final de la URL. El comprobador aplica exactamente estas reglas e indica el grupo y la regla aplicados.
Errores frecuentes
- Bloquearlo todo:
Disallow: /para todos los rastreadores hace desaparecer su sitio de los resultados. Solo para preproducción. - CSS y JavaScript bloqueados: Google no puede mostrar bien la página, lo que perjudica el posicionamiento.
- El robots.txt como protección: las URL bloqueadas pueden aparecer en el índice si están enlazadas. Para desindexar, use
noindex; para proteger, una contraseña. - Crawl-delay para Google: Google lo ignora, mientras que Bing y Yandex lo respetan.
Sitemaps y WordPress
Indique la URL completa de su sitemap, por ejemplo https://su-dominio.es/sitemap.xml, para que los buscadores encuentren todas sus páginas. La plantilla de WordPress prohíbe /wp-admin/ pero permite /wp-admin/admin-ajax.php, que necesitan muchos temas y plugins. Tras publicarlo, puede comprobar el archivo en Google Search Console.
Un ejemplo
Para una tienda en línea, prohíba el carrito /cart/, la cuenta de cliente /account/ y las páginas de resultados de búsqueda /search?, que generan infinitas URL casi idénticas, y añada el sitemap. Con la plantilla «Bloquear solo el entrenamiento de IA», sus fichas de producto no servirán para entrenar modelos de IA, pero seguirán visibles en los buscadores con IA. El comprobador confirma después que /productos/zapatillas-rojas está permitido para Googlebot, que /cart/ está bloqueado y que GPTBot no tiene acceso. Suba el archivo a la raíz y ábralo en el navegador para comprobar que es público.
Preguntas frecuentes
¿Dónde se coloca el robots.txt?
En la raíz del dominio, accesible en /robots.txt. Cada subdominio necesita el suyo.
¿Puedo prohibir el entrenamiento de IA?
Puede pedir a los bots de IA serios, como GPTBot, ClaudeBot o Google-Extended, que no usen su contenido.
¿Bloquear bots de IA perjudica mi SEO en Google?
No, mientras Googlebot siga permitido. Google-Extended solo afecta a los modelos de IA de Google.
¿Disallow elimina una página de Google?
No de forma fiable. Use la metaetiqueta noindex y deje la página rastreable.
¿Se guardan mis datos?
No, todo se queda en su navegador.