Créez un fichier robots.txt propre et conforme aux standards en quelques clics, avec des préréglages pour les principales plateformes.
Placez ce fichier à la racine de votre domaine : https://votresite.fr/robots.txt
Le fichier robots.txt indique aux robots des moteurs de recherche quelles parties de votre site ils peuvent explorer. Bien configuré, il préserve votre budget de crawl et protège les zones sensibles. Mal configuré, il peut accidentellement empêcher l'indexation de pages importantes — d'où l'intérêt de le vérifier avec soin.
Attention : bloquer une page dans robots.txt n'empêche pas toujours son apparition dans Google. Pour désindexer une page, utilisez plutôt une balise meta noindex.
À la racine du domaine, accessible à l'adresse https://votresite.fr/robots.txt. Il ne fonctionne pas dans un sous-dossier.
Vous pouvez interdire l'exploration de zones techniques (/admin/, /cgi-bin/), mais ne comptez pas dessus pour la sécurité : le fichier est public.
Oui, c'est recommandé. Cela aide les moteurs à découvrir toutes vos URL importantes plus rapidement.
