Générateur de fichiers robots.txt
Créez un fichier robots.txt prêt à être collé, comprenant les règles relatives aux robots d'indexation basés sur l'IA que vous souhaitez autoriser ou bloquer.
Cochez une case pour ajouter une règle bloquant ce robot d'indexation. Si la case n'est pas cochée, il reste autorisé.
User-agent: *
Disallow:
Ce que fait le fichier que vous générez
Un fichier robots.txt indique aux robots quels chemins ils peuvent demander. Le générateur écrit une règle générique pour les robots ordinaires, indique l'adresse de votre sitemap, liste les chemins que vous souhaitez interdire et ajoute un groupe nommé pour chaque robot d'IA que vous choisissez d'autoriser ou de bloquer. Ces groupes nommés comptent : un robot qui correspond à son propre groupe ignore entièrement le groupe générique, si bien qu'une règle placée uniquement sous l'astérisque ne s'applique pas à lui.
Les robots d'IA qu'il vaut la peine de nommer
| Agent utilisateur | Son rôle |
|---|---|
| GPTBot | OpenAI, entraînement des modèles |
| OAI-SearchBot | OpenAI, index de recherche de ChatGPT |
| ChatGPT-User | Récupère une page en direct quand quelqu'un interroge ChatGPT à son sujet |
| ClaudeBot | Anthropic |
| PerplexityBot | Index de recherche de Perplexity |
| Google-Extended | Entraînement de Gemini. Sans effet sur Google Search ni sur les aperçus IA |
| CCBot | Common Crawl, le jeu de données ouvert sur lequel beaucoup de modèles sont préentraînés |
Quand cet outil est utile
Au lancement d'un site, quand vous voulez un fichier correct plutôt qu'un fichier copié d'un gabarit que vous n'avez pas lu. Quand vous arrêtez votre position sur les robots d'IA et souhaitez que cette décision soit écrite quelque part de vérifiable. Et quand votre fichier actuel s'est construit par accumulation, car la plupart des problèmes de robots.txt viennent d'une règle ajoutée il y a des années que personne n'a relue depuis.
Ce que robots.txt ne fait pas
Ce n'est pas un contrôle d'accès et ce n'est pas un moyen de retirer une page de la recherche. Une interdiction empêche un robot respectueux de récupérer la page, mais l'URL peut encore apparaître dans les résultats si d'autres pages pointent vers elle, et Google ne peut pas voir une balise noindex sur une page qu'il n'a pas le droit de charger. Pour tenir une page hors de l'index, autorisez l'exploration et posez une balise méta robots noindex. Rien dans le fichier n'est contraignant non plus : un robot qui l'ignore l'ignore, tout simplement.
Questions fréquentes sur robots.txt
Bloquer une page dans robots.txt la retire-t-elle de Google ?
- Non, et cela peut produire l'effet inverse. Google peut continuer d'afficher l'URL sans description, parce qu'il ne peut pas charger la page pour y lire la balise noindex qui l'aurait retirée. Autorisez l'exploration et utilisez noindex.
Faut-il bloquer les robots d'IA ?
- Cela dépend de ce que vous vendez. Les bloquer tient votre contenu à l'écart de l'entraînement des modèles et, pour ceux qui alimentent une recherche, des réponses que ces produits citent. Si être cité dans les réponses IA est un canal qui vous intéresse, bloquer le robot ferme ce canal.
Où le fichier doit-il se trouver ?
- À la racine de l'hôte, exactement à /robots.txt. Il ne vaut que pour cet hôte et ce protocole : chaque sous-domaine a donc besoin de son propre fichier.
Autres outils gratuits
Générateur de slugs
Transformez n'importe quel titre en un slug épuré et compatible avec les URL.
Compteur de mots et de caractères
Comptez le nombre de mots, de caractères et la durée de lecture au fur et à mesure que vous tapez.
Générateur de balises Meta
Créez des titres, des balises meta et des balises pour les réseaux sociaux prêts à copier-coller, avec vérification de la longueur en temps réel.
UTM Builder
Créez des URL de campagne avec des balises que vous pourrez suivre dans votre outil d'analyse.
Pourquoi SEOryon ?
Les outils gratuits, ce n'est qu'un début. SEOryon s'occupe de tout.
Ces outils vous apportent une réponse rapide. SEOryon se charge de tout le processus pour vous chaque semaine : il identifie les sujets sur lesquels vous devriez écrire à partir de données de recherche réelles, puis rédige le contenu qui se classe bien sur Google et est cité dans les réponses générées par l'IA.
Savoir quoi écrire
Des thèmes sélectionnés à partir de données de recherche en temps réel, et non au hasard, pour que vous concentriez vos efforts uniquement là où vous avez les meilleures chances de réussir.
Conçu pour être bien classé et être cité
Contenu rédigé dans le but d'être bien classé sur Google et d'être cité dans les réponses générées par l'IA, telles que celles de ChatGPT, Perplexity et Gemini.
C'est vous qui gardez le contrôle
Vérifiez et validez chaque élément avant sa mise en ligne. Rien ne sera publié sans votre accord.
C'est plus rapide que de le faire soi-même, et cela ne coûte qu'une fraction du prix d'une agence, sans pour autant céder le contrôle de votre marque.