robots.txt und KI-Crawler: Was Sie blockieren — und was Sie verlieren

Nicht absichtlich. Sondern durch robots.txt, Firewall, CDN oder Bot-Schutz, die irgendwann „sicherheitshalber“ eingeschaltet wurden.

Das Ergebnis: ChatGPT, Claude, Gemini oder Perplexity können Ihre Inhalte nicht zuverlässig abrufen. Dann helfen weder gutes Design noch starkes SEO.

Das Missverständnis: Bot-Schutz = Sicherheit

Bot-Schutz ist sinnvoll gegen Spam, Scraping und Angriffe.

Für sichtbare Unternehmensseiten gilt aber: Wer gefunden und zitiert werden will, muss ausgewählte Such- und KI-Crawler erlauben.

Sicherheit heißt nicht „alle Bots blockieren“.

Sicherheit heißt: belästigende Bots stoppen, relevante Crawler bewusst zulassen.

Was robots.txt eigentlich steuert

Die Datei liegt im Stammverzeichnis:

https://www.example.de/robots.txt

Sie sagt Crawlern, welche Bereiche sie besuchen dürfen.

Beispiel für eine harte Sperre:

User-agent: *
Disallow: /

Damit ist die Website für die meisten Bots faktisch unsichtbar — inklusive vieler KI-Suchsysteme.

Oder selektiv:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

Dann blockieren Sie genau die Systeme, mit denen Ihre Kunden inzwischen recherchieren.

Welche Crawler oft relevant sind

Die Landschaft ändert sich. Typische Namen, die Unternehmen prüfen sollten:

• OAI-SearchBot — OpenAI-Suche / ChatGPT-Suche
• GPTBot — OpenAI (Training/Abruf, je nach Kontext)
• ClaudeBot / Anthropic — Claude-Ökosystem
• Google-Extended — Google Gemini / AI-Features
• PerplexityBot — Perplexity

Nicht jeder Bot hat denselben Zweck. Manche dienen der Live-Suche, andere dem Training.

Deshalb: nicht pauschal alles erlauben oder verbieten — sondern entscheiden, welche Sichtbarkeit Sie wollen.

Firewall und CDN: der unsichtbare Blocker

Selbst mit offener robots.txt kann ein CDN (Cloudflare & Co.), eine WAF oder ein Captcha Crawler stoppen.

Dann sieht der Bot:

• 403 Forbidden
• Challenge-Seite
• leere Antwort
• Timeout

Für Menschen wirkt die Website normal. Für Maschinen ist sie tot.

Schnell-Check in 10 Minuten

1. Öffnen Sie https://ihre-domain.de/robots.txt
2. Suchen Sie nach Disallow: / bei relevanten User-Agents
3. Prüfen Sie, ob ganze Bereiche (/wissen/, /leistungen/) gesperrt sind
4. Testen Sie wichtige URLs ohne Login und ohne Cookie-Zwang
5. Schauen Sie in Server-/CDN-Logs: Werden KI-Bots mit 403 beantwortet?

Wenn Sie unsicher sind: Lassen Sie die Prüfung dokumentieren. Raten ist teuer.

Was Sie typischerweise freigeben sollten

Für öffentliche Marketing- und Wissensseiten:

• Startseite und Leistungsseiten
• Case Studies / Referenzen
• Fachartikel / FAQ
• Impressum und klare Unternehmensangaben

Geschützt bleiben dürfen:

• Admin / CMS
• Kundenportale
• interne APIs
• Formular-Endpunkte mit Missbrauchspotenzial

robots.txt ist kein Ranking-Hebel — aber ein Ausschlusskriterium

Eine offene robots.txt macht Sie nicht automatisch sichtbar in KI-Antworten.

Aber eine blockierte Site macht Sie mit hoher Sicherheit unsichtbar.

Das ist der Unterschied zwischen Optimierung und Grundvoraussetzung.

Was danach kommt

Wenn Crawler Sie erreichen können, entscheiden Inhalt und Struktur:

• klare Aussagen (wer, was, für wen, wo)
• Schema.org
• zitierfähige Fachtexte
• optional llms.txt

Genau das messen wir mit AISonar: Welche Modelle sehen Sie — und welche nicht?

AISonar Audit anfordern