Robots.txt-Generator

Legen Sie fest, welche Crawler Ihre Website durchsuchen dürfen. Der Generator erstellt eine korrekte robots.txt mit Standardregeln, gesperrten und erlaubten Pfaden, Crawl-delay und Sitemaps – und mit eigenen Einstellungen für Suchmaschinen und über 20 KI-Crawler, getrennt nach KI-Training, KI-Suche und nutzerausgelösten Abrufen. Vorlagen, Warnungen und ein URL-Tester nach Googles Regeln helfen, Fehler zu vermeiden.

  • 100 % kostenlos
  • Ohne Anmeldung
  • Privat & lokal
  • Funktioniert auf dem Handy

Vorlagen

Standardregeln für alle Crawler (User-agent: *)

KI-Crawler

BotZweckZugriff

Suchmaschinen-Crawler

BotSuchmaschineZugriff

URL testen

Ihre robots.txt

Prüfungen

    Datenschutz durch Technik: Alle Berechnungen laufen lokal in Ihrem Browser. Ihre Eingaben werden weder an einen Server gesendet noch von uns gespeichert.

    So nutzen Sie den Generator

    1. Vorlage wählen oder Standardzugriff festlegen: Crawling erlauben oder komplett blockieren.
    2. Pfade eintragen: gesperrte Pfade und Ausnahmen, jeweils einer pro Zeile.
    3. Sitemap-URLs und optional einen Crawl-delay angeben.
    4. Einzelne Bots einstellen: Suchmaschinen und KI-Crawler auf Standard, Erlauben oder Blockieren.
    5. URL testen, robots.txt kopieren oder herunterladen und im Hauptverzeichnis Ihrer Domain ablegen.

    Was ist die robots.txt?

    Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website, erreichbar unter https://ihre-domain.de/robots.txt. Sie teilt Crawlern mit, welche Bereiche sie besuchen dürfen. Seit 2022 ist das Format als RFC 9309 standardisiert. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Disallow- und Allow-Regeln. Sitemap-Zeilen verweisen auf Ihre XML-Sitemaps. Wichtig: Die robots.txt ist eine Bitte, kein Zugriffsschutz. Seriöse Crawler halten sich daran, böswillige Bots nicht.

    KI-Crawler gezielt steuern

    Immer mehr Bots sammeln Inhalte für künstliche Intelligenz. Der Generator unterscheidet drei Zwecke, denn ihre Folgen für Ihre Website sind sehr verschieden:

    ZweckBeispieleFolge beim Blockieren
    KI-TrainingGPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgentInhalte fließen nicht ins Training künftiger Modelle
    KI-SucheOAI-SearchBot, Claude-SearchBot, PerplexityBotIhre Seite erscheint seltener in KI-Suchantworten
    Vom Nutzer ausgelöstChatGPT-User, Claude-User, Perplexity-UserKI-Assistenten können Ihre Seite nicht auf Nachfrage abrufen

    Die Vorlage „Nur KI-Training blockieren“ sperrt die Trainings-Crawler und erlaubt KI-Suche und Abrufe, ein verbreiteter Kompromiss. „Alle KI-Bots blockieren“ sperrt sämtliche aufgeführten KI-Crawler. Google-Extended steuert nur die Nutzung für Googles KI-Modelle und hat keinen Einfluss auf die normale Google-Suche.

    Wie Crawler die Regeln auswerten

    Ein Crawler befolgt nur die spezifischste Gruppe, die seinen Namen nennt, und ignoriert dann die allgemeine Gruppe User-agent: *. Erlauben Sie also einem Bot ausdrücklich den Zugriff, übernimmt der Generator automatisch Ihre gesperrten Standardpfade in dessen Gruppe, damit er etwa /admin/ trotzdem nicht crawlt. Innerhalb einer Gruppe gewinnt die längste passende Regel; bei Gleichstand gewinnt Allow. Platzhalter: * steht für beliebig viele Zeichen, $ für das Ende der URL. Der URL-Tester wendet genau diese Regeln an und zeigt, welche Gruppe und welche Regel greift.

    Typische Fehler

    • Alles blockiert: Disallow: / für alle Crawler entfernt Ihre Seite aus den Suchergebnissen. Nur für Staging-Umgebungen sinnvoll.
    • CSS und JavaScript gesperrt: Google kann die Seite dann nicht richtig darstellen, was dem Ranking schadet.
    • robots.txt als Schutz: Gesperrte URLs können trotzdem im Index erscheinen, wenn sie verlinkt sind. Für das Entfernen aus dem Index ist noindex zuständig, für Schutz ein Passwort.
    • Crawl-delay bei Google: Google ignoriert diese Angabe; Bing und Yandex beachten sie.

    Sitemaps und WordPress

    Tragen Sie die vollständige URL Ihrer Sitemap ein, zum Beispiel https://ihre-domain.de/sitemap.xml, damit Suchmaschinen alle Seiten finden. Die WordPress-Vorlage sperrt /wp-admin/ und erlaubt /wp-admin/admin-ajax.php, das viele Themes und Plugins für Funktionen im Frontend benötigen. Nach dem Hochladen können Sie die Datei in der Google Search Console auf Fehler prüfen.

    Ein Beispiel

    Für einen typischen Onlineshop sperren Sie den Warenkorb /cart/, das Kundenkonto /account/ und Suchergebnisseiten /search?, die endlos viele, kaum unterschiedliche URLs erzeugen, und verweisen auf die Sitemap. Mit der Vorlage „Nur KI-Training blockieren“ verhindern Sie zudem, dass Ihre Produkttexte in Trainingsdaten von KI-Modellen landen, bleiben aber in KI-Suchmaschinen sichtbar. Der Tester bestätigt anschließend, dass etwa /produkte/rote-schuhe für Googlebot erlaubt und /cart/ blockiert ist und dass GPTBot keinen Zugriff hat. Laden Sie die Datei als robots.txt ins Hauptverzeichnis hoch und rufen Sie sie im Browser auf, um zu prüfen, dass sie öffentlich erreichbar ist. Änderungen werden von Crawlern meist innerhalb eines Tages übernommen.

    Häufige Fragen

    Wo muss die robots.txt liegen?

    Im Hauptverzeichnis der Domain, erreichbar unter /robots.txt. Jede Subdomain braucht eine eigene.

    Kann ich KI-Training verbieten?

    Sie können seriöse KI-Crawler wie GPTBot, ClaudeBot oder Google-Extended per robots.txt bitten, Ihre Inhalte nicht zu nutzen.

    Schadet das Blockieren von KI-Bots meinem Google-Ranking?

    Nein, solange Googlebot erlaubt bleibt. Google-Extended betrifft nur Googles KI-Modelle.

    Entfernt Disallow eine Seite aus Google?

    Nicht zuverlässig. Dafür ist das Meta-Tag noindex gedacht, und die Seite muss dafür crawlbar bleiben.

    Werden meine Angaben gespeichert?

    Nein, alles bleibt in Ihrem Browser.