So nutzen Sie den Generator
- Vorlage wählen oder Standardzugriff festlegen: Crawling erlauben oder komplett blockieren.
- Pfade eintragen: gesperrte Pfade und Ausnahmen, jeweils einer pro Zeile.
- Sitemap-URLs und optional einen Crawl-delay angeben.
- Einzelne Bots einstellen: Suchmaschinen und KI-Crawler auf Standard, Erlauben oder Blockieren.
- URL testen, robots.txt kopieren oder herunterladen und im Hauptverzeichnis Ihrer Domain ablegen.
Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website, erreichbar unter https://ihre-domain.de/robots.txt. Sie teilt Crawlern mit, welche Bereiche sie besuchen dürfen. Seit 2022 ist das Format als RFC 9309 standardisiert. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Disallow- und Allow-Regeln. Sitemap-Zeilen verweisen auf Ihre XML-Sitemaps. Wichtig: Die robots.txt ist eine Bitte, kein Zugriffsschutz. Seriöse Crawler halten sich daran, böswillige Bots nicht.
KI-Crawler gezielt steuern
Immer mehr Bots sammeln Inhalte für künstliche Intelligenz. Der Generator unterscheidet drei Zwecke, denn ihre Folgen für Ihre Website sind sehr verschieden:
| Zweck | Beispiele | Folge beim Blockieren |
|---|---|---|
| KI-Training | GPTBot, ClaudeBot, Google-Extended, CCBot, Meta-ExternalAgent | Inhalte fließen nicht ins Training künftiger Modelle |
| KI-Suche | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Ihre Seite erscheint seltener in KI-Suchantworten |
| Vom Nutzer ausgelöst | ChatGPT-User, Claude-User, Perplexity-User | KI-Assistenten können Ihre Seite nicht auf Nachfrage abrufen |
Die Vorlage „Nur KI-Training blockieren“ sperrt die Trainings-Crawler und erlaubt KI-Suche und Abrufe, ein verbreiteter Kompromiss. „Alle KI-Bots blockieren“ sperrt sämtliche aufgeführten KI-Crawler. Google-Extended steuert nur die Nutzung für Googles KI-Modelle und hat keinen Einfluss auf die normale Google-Suche.
Wie Crawler die Regeln auswerten
Ein Crawler befolgt nur die spezifischste Gruppe, die seinen Namen nennt, und ignoriert dann die allgemeine Gruppe User-agent: *. Erlauben Sie also einem Bot ausdrücklich den Zugriff, übernimmt der Generator automatisch Ihre gesperrten Standardpfade in dessen Gruppe, damit er etwa /admin/ trotzdem nicht crawlt. Innerhalb einer Gruppe gewinnt die längste passende Regel; bei Gleichstand gewinnt Allow. Platzhalter: * steht für beliebig viele Zeichen, $ für das Ende der URL. Der URL-Tester wendet genau diese Regeln an und zeigt, welche Gruppe und welche Regel greift.
Typische Fehler
- Alles blockiert:
Disallow: /für alle Crawler entfernt Ihre Seite aus den Suchergebnissen. Nur für Staging-Umgebungen sinnvoll. - CSS und JavaScript gesperrt: Google kann die Seite dann nicht richtig darstellen, was dem Ranking schadet.
- robots.txt als Schutz: Gesperrte URLs können trotzdem im Index erscheinen, wenn sie verlinkt sind. Für das Entfernen aus dem Index ist
noindexzuständig, für Schutz ein Passwort. - Crawl-delay bei Google: Google ignoriert diese Angabe; Bing und Yandex beachten sie.
Sitemaps und WordPress
Tragen Sie die vollständige URL Ihrer Sitemap ein, zum Beispiel https://ihre-domain.de/sitemap.xml, damit Suchmaschinen alle Seiten finden. Die WordPress-Vorlage sperrt /wp-admin/ und erlaubt /wp-admin/admin-ajax.php, das viele Themes und Plugins für Funktionen im Frontend benötigen. Nach dem Hochladen können Sie die Datei in der Google Search Console auf Fehler prüfen.
Ein Beispiel
Für einen typischen Onlineshop sperren Sie den Warenkorb /cart/, das Kundenkonto /account/ und Suchergebnisseiten /search?, die endlos viele, kaum unterschiedliche URLs erzeugen, und verweisen auf die Sitemap. Mit der Vorlage „Nur KI-Training blockieren“ verhindern Sie zudem, dass Ihre Produkttexte in Trainingsdaten von KI-Modellen landen, bleiben aber in KI-Suchmaschinen sichtbar. Der Tester bestätigt anschließend, dass etwa /produkte/rote-schuhe für Googlebot erlaubt und /cart/ blockiert ist und dass GPTBot keinen Zugriff hat. Laden Sie die Datei als robots.txt ins Hauptverzeichnis hoch und rufen Sie sie im Browser auf, um zu prüfen, dass sie öffentlich erreichbar ist. Änderungen werden von Crawlern meist innerhalb eines Tages übernommen.
Häufige Fragen
Wo muss die robots.txt liegen?
Im Hauptverzeichnis der Domain, erreichbar unter /robots.txt. Jede Subdomain braucht eine eigene.
Kann ich KI-Training verbieten?
Sie können seriöse KI-Crawler wie GPTBot, ClaudeBot oder Google-Extended per robots.txt bitten, Ihre Inhalte nicht zu nutzen.
Schadet das Blockieren von KI-Bots meinem Google-Ranking?
Nein, solange Googlebot erlaubt bleibt. Google-Extended betrifft nur Googles KI-Modelle.
Entfernt Disallow eine Seite aus Google?
Nicht zuverlässig. Dafür ist das Meta-Tag noindex gedacht, und die Seite muss dafür crawlbar bleiben.
Werden meine Angaben gespeichert?
Nein, alles bleibt in Ihrem Browser.