Generador de robots.txt

Indique qué rastreadores pueden explorar su sitio. El generador crea un robots.txt correcto con reglas predeterminadas, rutas prohibidas y permitidas, Crawl-delay y sitemaps, con ajustes propios para buscadores y más de 20 bots de IA, clasificados en entrenamiento de IA, búsqueda con IA y peticiones iniciadas por el usuario. Las plantillas, los avisos y un comprobador de URL conforme a las reglas de Google le ayudan a evitar errores.

  • 100 % gratis
  • Sin registro
  • Privado & local
  • Funciona en el móvil

Plantillas

Reglas predeterminadas para todos los rastreadores (User-agent: *)

Rastreadores de IA

BotFinalidadAcceso

Rastreadores de buscadores

BotBuscadorAcceso

Probar una URL

Su robots.txt

Comprobaciones

    Privacidad desde el diseño: todos los cálculos se realizan localmente en tu navegador. Tus datos no se envían a ningún servidor ni los guardamos.

    Cómo usar el generador

    1. Elija una plantilla o el acceso predeterminado: permitir o bloquear todo el rastreo.
    2. Introduzca las rutas: prohibidas y excepciones permitidas, una por línea.
    3. Añada las URL de los sitemaps y, si quiere, un Crawl-delay.
    4. Ajuste los bots uno a uno: buscadores y bots de IA en Predeterminado, Permitir o Bloquear.
    5. Pruebe una URL, copie o descargue el robots.txt y colóquelo en la raíz de su dominio.

    ¿Qué es el robots.txt?

    El robots.txt es un archivo de texto sencillo situado en la raíz de un sitio, accesible en https://su-dominio.es/robots.txt. Indica a los rastreadores qué zonas pueden visitar. Desde 2022, el formato está normalizado en la RFC 9309. Cada grupo empieza con una o varias líneas User-agent, seguidas de reglas Disallow y Allow. Las líneas Sitemap apuntan a sus sitemaps XML. Importante: el robots.txt es una petición, no una protección de acceso. Los rastreadores serios lo respetan; los bots maliciosos, no.

    Controlar los bots de IA con precisión

    Cada vez más rastreadores recopilan contenido para la inteligencia artificial. El generador distingue tres finalidades, con consecuencias muy distintas para su sitio:

    FinalidadEjemplosEfecto de bloquearlos
    Entrenamiento de IAGPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgentsu contenido no se usa para entrenar futuros modelos
    Búsqueda con IAOAI-SearchBot, Claude-SearchBot, PerplexityBotsu sitio aparece menos en las respuestas de los buscadores con IA
    Iniciado por el usuarioChatGPT-User, Claude-User, Perplexity-Userlos asistentes de IA no pueden consultar su página cuando un usuario lo pide

    La plantilla «Bloquear solo el entrenamiento de IA» bloquea los bots de entrenamiento pero permite la búsqueda y las consultas, un compromiso habitual. «Bloquear todos los bots de IA» bloquea todos los de la lista. Google-Extended solo controla el uso por los modelos de IA de Google y no afecta a la búsqueda de Google clásica.

    Cómo aplican los rastreadores las reglas

    Un rastreador solo sigue el grupo más específico que lo nombra e ignora entonces el grupo general User-agent: *. Por eso, si permite explícitamente un bot, el generador copia automáticamente sus rutas prohibidas predeterminadas en ese grupo, para que no explore /admin/. Dentro de un grupo gana la regla coincidente más larga; en caso de empate, gana Allow. Comodines: * para cualquier secuencia de caracteres y $ para el final de la URL. El comprobador aplica exactamente estas reglas e indica el grupo y la regla aplicados.

    Errores frecuentes

    • Bloquearlo todo: Disallow: / para todos los rastreadores hace desaparecer su sitio de los resultados. Solo para preproducción.
    • CSS y JavaScript bloqueados: Google no puede mostrar bien la página, lo que perjudica el posicionamiento.
    • El robots.txt como protección: las URL bloqueadas pueden aparecer en el índice si están enlazadas. Para desindexar, use noindex; para proteger, una contraseña.
    • Crawl-delay para Google: Google lo ignora, mientras que Bing y Yandex lo respetan.

    Sitemaps y WordPress

    Indique la URL completa de su sitemap, por ejemplo https://su-dominio.es/sitemap.xml, para que los buscadores encuentren todas sus páginas. La plantilla de WordPress prohíbe /wp-admin/ pero permite /wp-admin/admin-ajax.php, que necesitan muchos temas y plugins. Tras publicarlo, puede comprobar el archivo en Google Search Console.

    Un ejemplo

    Para una tienda en línea, prohíba el carrito /cart/, la cuenta de cliente /account/ y las páginas de resultados de búsqueda /search?, que generan infinitas URL casi idénticas, y añada el sitemap. Con la plantilla «Bloquear solo el entrenamiento de IA», sus fichas de producto no servirán para entrenar modelos de IA, pero seguirán visibles en los buscadores con IA. El comprobador confirma después que /productos/zapatillas-rojas está permitido para Googlebot, que /cart/ está bloqueado y que GPTBot no tiene acceso. Suba el archivo a la raíz y ábralo en el navegador para comprobar que es público.

    Preguntas frecuentes

    ¿Dónde se coloca el robots.txt?

    En la raíz del dominio, accesible en /robots.txt. Cada subdominio necesita el suyo.

    ¿Puedo prohibir el entrenamiento de IA?

    Puede pedir a los bots de IA serios, como GPTBot, ClaudeBot o Google-Extended, que no usen su contenido.

    ¿Bloquear bots de IA perjudica mi SEO en Google?

    No, mientras Googlebot siga permitido. Google-Extended solo afecta a los modelos de IA de Google.

    ¿Disallow elimina una página de Google?

    No de forma fiable. Use la metaetiqueta noindex y deje la página rastreable.

    ¿Se guardan mis datos?

    No, todo se queda en su navegador.