Robots.txt-Generator
Erstellen Sie eine einfügebereite „robots.txt“-Datei mit Regeln für die KI-Crawler, die Sie zulassen oder blockieren möchten.
Setzen Sie ein Häkchen bei einem Crawler, um eine Regel hinzuzufügen, die ihn blockiert. Bleibt das Häkchen weg, bleibt er zugelassen.
User-agent: *
Disallow:
Was die Datei tut, die du erzeugst
Eine robots.txt sagt Crawlern, welche Pfade sie anfragen dürfen. Der Generator schreibt eine Platzhalterregel für gewöhnliche Crawler, nennt die Adresse deiner Sitemap, listet die Pfade, die du sperren willst, und ergänzt eine benannte Gruppe für jeden KI-Crawler, den du erlauben oder blockieren möchtest. Diese benannten Gruppen sind wichtig: Ein Crawler, der seine eigene Gruppe findet, ignoriert die Platzhaltergruppe vollständig, eine nur unter dem Sternchen notierte Regel gilt für ihn also nicht.
Die KI-Crawler, die es zu benennen lohnt
| User Agent | Wofür er da ist |
|---|---|
| GPTBot | OpenAI, Modelltraining |
| OAI-SearchBot | OpenAI, der Suchindex von ChatGPT |
| ChatGPT-User | Holt eine Seite live, wenn jemand ChatGPT dazu befragt |
| ClaudeBot | Anthropic |
| PerplexityBot | Der Suchindex von Perplexity |
| Google-Extended | Gemini-Training. Ohne Wirkung auf Google Search oder KI-Übersichten |
| CCBot | Common Crawl, der offene Datensatz, auf dem viele Modelle vortrainiert werden |
Wann sich das lohnt
Beim Start einer Website, wenn du eine korrekte Datei willst statt einer aus einem Template kopierten, das du nie gelesen hast. Wenn du deine Haltung zu KI-Crawlern festlegst und willst, dass diese Entscheidung nachprüfbar irgendwo steht. Und wenn deine bestehende Datei über die Jahre gewachsen ist, denn die meisten robots.txt-Probleme stammen von einer Regel, die vor Jahren jemand ergänzt hat und die seither niemand mehr gelesen hat.
Was robots.txt nicht leistet
Es ist keine Zugriffskontrolle und kein Weg, eine Seite aus der Suche zu nehmen. Ein Disallow hindert einen regelkonformen Crawler daran, die Seite zu laden, aber die URL kann weiterhin in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken, und Google kann ein noindex auf einer Seite nicht sehen, die es nicht laden darf. Um eine Seite aus dem Index zu halten, erlaubst du das Crawling und setzt ein noindex-Meta-Tag. Erzwungen wird ohnehin nichts: Ein Crawler, der die Datei ignoriert, ignoriert sie einfach.
Häufige Fragen zu robots.txt
Entfernt das Sperren einer Seite in robots.txt sie aus Google?
- Nein, und es kann das Gegenteil bewirken. Google zeigt die URL unter Umständen weiter an, nur ohne Beschreibung, weil es die Seite nicht laden kann, um das noindex zu lesen, das sie entfernt hätte. Erlaube das Crawling und setze stattdessen noindex.
Soll ich KI-Crawler blockieren?
- Das hängt davon ab, was du verkaufst. Sie zu blockieren hält deine Inhalte aus dem Modelltraining heraus und, bei den suchorientierten, aus den Antworten, die diese Produkte zitieren. Wenn Zitate in KI-Antworten ein Kanal sind, den du willst, schließt das Blockieren diesen Kanal.
Wo muss die Datei liegen?
- Im Wurzelverzeichnis des Hosts, genau unter /robots.txt. Sie gilt nur für diesen Host und dieses Protokoll, jede Subdomain braucht also ihre eigene Datei.
Weitere kostenlose Tools
Slug-Generator
Verwandeln Sie jeden Titel in einen sauberen, URL-sicheren Slug.
Wort- und Zeichenzähler
Zählen Sie Wörter, Zeichen und Lesezeit, während Sie tippen.
Meta-Tag-Generator
Erstellen Sie Titel, Meta-Tags und Social-Tags per Kopieren und Einfügen mit Echtzeit-Längenprüfung.
UTM Builder
Erstellen Sie mit Tags versehene Kampagnen-URLs, die Sie in Analytics nachverfolgen können.
Warum SEOryon?
Kostenlose Tools sind der Anfang. SEOryon übernimmt die gesamte Arbeit.
Diese Tools liefern Ihnen schnelle Antworten. SEOryon durchläuft jede Woche den gesamten Prozess für Sie: Es ermittelt anhand echter Suchdaten, worüber Sie schreiben sollten, und verfasst dann Inhalte, die bei Google gut ranken und in KI-Antworten zitiert werden.
Wissen, was man schreiben soll
Die Themen werden anhand von Echtzeit-Suchdaten ausgewählt (nicht auf der Grundlage von Vermutungen), sodass Sie Ihre Energie nur dort einsetzen, wo Sie Erfolg haben können.
Entwickelt, um in Suchmaschinen ganz oben zu stehen und zitiert zu werden
Inhalte, die so verfasst wurden, dass sie bei Google gut ranken und in KI-Antworten wie ChatGPT, Perplexity und Gemini zitiert werden.
Sie behalten die Kontrolle
Überprüfen und genehmigen Sie jeden Beitrag, bevor er veröffentlicht wird. Nichts wird ohne Ihre Zustimmung veröffentlicht.
Schneller als wenn Sie es selbst machen würden, und zu einem Bruchteil der Kosten einer Agentur, ohne die Kontrolle über Ihre Marke abzugeben.