Générateur de robots.txt
Rédigez des règles d’exploration que les moteurs suivent vraiment, avec votre sitemap déjà relié.
robots.txt contrôle l’exploration, pas l’indexation. Une page bloquée peut encore apparaître dans les résultats si d’autres sites y renvoient - utilisez une balise meta noindex pour l’en écarter.
Ce qu’il vérifie
- Écrit un groupe User-agent: * à partir de l’un des trois préréglages : tout autoriser, bloquer les chemins courants d’une application, ou bloquer tout le site pour un environnement de préproduction.
- Le préréglage application interdit /admin/, /cart/, /checkout/, /account/, /search et les URL triées correspondant à /*?*sort=.
- Ajoute une ligne Disallow pour chaque chemin supplémentaire que vous indiquez, avec la barre oblique initiale si vous l’avez oubliée.
- Ajoute au choix des groupes qui bloquent GPTBot, CCBot, ClaudeBot, Google-Extended, anthropic-ai et PerplexityBot sur tout le site.
- Ajoute une ligne Sitemap qui pointe vers /sitemap.xml sur le site saisi.
- Construit le fichier dans votre navigateur, prêt à copier ou à télécharger sous le nom robots.txt.
Lire le résultat
Chaque valeur Disallow s’applique depuis le début du chemin. /search bloque /search?q=shoes, mais aussi /search-tips et /searchable-products. Comparez la liste à vos propres URL et vérifiez qu’aucune page que vous voulez voir trouvée ne commence par un chemin bloqué.
La ligne Sitemap suppose que votre sitemap se trouve à /sitemap.xml. S’il est ailleurs, par exemple à /sitemap_index.xml, modifiez cette ligne avant la mise en ligne. Le fichier ne fonctionne qu’à la racine de l’hôte, par exemple https://example.com/robots.txt, et chaque sous-domaine a besoin du sien.
L’option robots d’IA bloque les six robots nommés dans le fichier, et aucun autre. Certains collectent des données d’entraînement, d’autres récupèrent des pages pour des assistants qui citent leurs sources : les bloquer tous les six peut réduire la fréquence à laquelle vous êtes cité. Laissez-les autorisés si être cité dans les réponses des IA compte pour vous.
Questions
L’outil vérifie-t-il mon robots.txt actuel ?
Non. Il écrit un nouveau fichier à partir des options choisies et ne consulte pas votre site. Comparez le résultat avec votre fichier en ligne avant de le remplacer, pour garder les règles ajoutées volontairement.
Comment garder un site de préproduction hors des résultats de recherche ?
Protégez-le par un mot de passe. Le préréglage préproduction demande aux robots de rester à l’écart, mais robots.txt n’est qu’une demande, et une URL bloquée peut quand même apparaître si un lien pointe vers elle.
Les robots d’IA suivent-ils aussi les règles placées sous User-agent: * ?
Non. Un robot suit le groupe le plus précis qui le nomme et ignore les autres ; chaque groupe de robot d’IA est donc autonome. Si vous ajoutez à la main un groupe pour un autre robot, répétez les lignes Disallow que vous voulez qu’il respecte.
Ai-je vraiment besoin d’un robots.txt ?
Non. Sans ce fichier, les robots considèrent qu’ils peuvent tout explorer. Il reste utile pour indiquer votre sitemap aux robots et les tenir à l’écart des paniers, des comptes et des résultats de recherche internes.
Cet outil vérifie une page, une fois. Votre équipe vérifie chaque page, chaque semaine, et corrige ce qu’elle trouve.
Plus d’outils gratuits
Générateur de balises hreflang
Créez des balises hreflang réciproques pour chaque version linguistique d’une page, et repérez les erreurs de code qui les cassent sans bruit.
Nettoyeur de texte IA
Repérez les caractères invisibles et les filigranes cachés dans un texte collé, et supprimez-les.
Vérificateur de sitemap.xml
Analysez un sitemap en ligne pour trouver les erreurs qui tiennent vos pages hors de l’index.
Vérificateur de balises meta
Voyez exactement ce que les moteurs de recherche et les réseaux sociaux lisent sur une page.
Aperçu d’extrait SERP
Voyez où votre titre et votre description seront coupés avant de les publier.
Générateur de balisage schema
Produisez du JSON-LD valide pour les types que les moteurs de recherche utilisent vraiment.