Générateur de robots.txt
Générez un fichier robots.txt pour votre site web avec des presets et des règles personnalisées.
Délai entre chaque requête du robot (non supporté par Google)
User-agent: * Allow: /
Tout savoir sur le fichier robots.txt
Pourquoi utiliser un générateur de robots.txt ?
Le fichier robots.txt est l'un des premiers éléments qu'un moteur de recherche consulte lorsqu'il visite votre site web. Ce fichier texte, placé à la racine de votre domaine, indique aux robots d'exploration (Googlebot, Bingbot, etc.) quelles sections de votre site ils sont autorisés à parcourir et lesquelles doivent rester hors de portée. Une configuration correcte de ce fichier est une étape fondamentale de toute stratégie SEO technique, car elle permet de concentrer le budget de crawl sur les pages à forte valeur ajoutée.
Sans robots.txt bien configuré, les robots peuvent gaspiller leur budget de crawl sur des pages inutiles telles que les pages de panier, les pages de filtres e-commerce, les environnements de staging ou les pages d'administration. Cet outil vous permet de générer un fichier robots.txt précis en quelques clics, en choisissant parmi des préréglages courants (WordPress, e-commerce, SPA) ou en définissant des règles personnalisées pour chaque agent utilisateur.
La directive Sitemap dans le fichier robots.txt est également essentielle : elle indique directement aux moteurs de recherche où trouver votre plan du site XML, accélérant ainsi l'indexation de vos nouvelles pages. Cet outil intègre cette option ainsi que le paramètre Crawl-delay pour les robots qui le supportent, vous offrant un contrôle complet sur le comportement des crawlers sur votre site.
Cas d'utilisation courants
- Sites WordPress et CMS
- Bloquez les chemins sensibles comme /wp-admin/, /wp-login.php ou les pages de tags et d'auteurs pour éviter le contenu dupliqué et protéger votre interface d'administration des bots malveillants.
- Boutiques e-commerce
- Interdisez l'exploration des pages de panier, de checkout et de compte client, qui génèrent du contenu dynamique sans valeur SEO, afin de préserver le budget de crawl pour vos fiches produits et catégories.
- Applications monopage (SPA)
- Configurez des règles adaptées aux frameworks JavaScript pour guider les robots vers les versions rendues côté serveur ou les sitemaps dynamiques, maximisant ainsi l'indexation de votre contenu.
- Environnements de recette et staging
- Bloquez intégralement l'indexation de vos environnements de développement et de test en utilisant la directive Disallow: / pour tous les agents, évitant ainsi que du contenu non finalisé n'apparaisse dans les résultats de recherche.
Comment utiliser cet outil ?
Sélectionnez un préréglage correspondant à votre type de site (WordPress, e-commerce, SPA ou vide) pour partir d'une base solide et adaptée à votre contexte technique. Le préréglage remplit automatiquement les règles les plus courantes pour ce type de site.
Ajoutez des règles personnalisées en cliquant sur « + Ajouter une règle » : choisissez l'agent utilisateur cible (ou * pour tous), sélectionnez la directive Allow ou Disallow, et entrez le chemin concerné. Renseignez également l'URL de votre sitemap XML pour aider les moteurs à découvrir vos pages.
Vérifiez l'aperçu du fichier généré en bas de page, puis cliquez sur « Télécharger robots.txt » pour obtenir le fichier prêt à déployer à la racine de votre serveur web (ex. : https://votre-site.fr/robots.txt).
Questions fréquentes
- Le fichier robots.txt empêche-t-il l'indexation des pages bloquées ?
- Non, le robots.txt bloque l'exploration (crawl) mais pas nécessairement l'indexation. Une page bloquée par Disallow peut quand même apparaître dans les résultats Google si d'autres sites y font des liens. Pour bloquer l'indexation, utilisez la balise meta robots noindex directement dans le HTML de la page concernée.
- Google respecte-t-il toujours le fichier robots.txt ?
- Google respecte les directives du robots.txt pour le crawl, mais se réserve le droit d'indexer une URL bloquée si elle lui semble pertinente via des signaux externes (liens entrants). Depuis 2019, Google ne supporte plus la directive Crawl-delay et certaines extensions non officielles du protocole.
- Quelle est la différence entre robots.txt et la balise meta robots ?
- Le robots.txt agit au niveau du crawl (le robot peut-il accéder à la page ?) alors que la balise meta robots agit au niveau de l'indexation (la page doit-elle apparaître dans les résultats ?). Ces deux mécanismes sont complémentaires et doivent être utilisés conjointement pour un contrôle SEO complet.
- Où placer le fichier robots.txt sur mon serveur ?
- Le fichier doit impérativement être accessible à l'URL https://votre-domaine.com/robots.txt, c'est-à-dire à la racine du domaine. Il ne peut pas être placé dans un sous-dossier. Si votre site est sur un sous-domaine, chaque sous-domaine doit disposer de son propre fichier robots.txt.
- Mes données personnelles sont-elles protégées ?
- Entièrement. Le calcul est réalisé à 100 % côté client, directement dans votre navigateur web. Aucune donnée personnelle n'est envoyée vers un serveur distant ni stockée. Toutes les informations restent sur votre appareil.