Deux fichiers pour parler aux robots
Avant de classer une page, Google doit la découvrir puis la parcourir : c'est l'exploration, assurée par des robots comme Googlebot. Cette étape se pilote, au moins en partie, avec deux fichiers. Le robots.txt dit aux robots où ils ne sont pas les bienvenus. Le sitemap XML leur tend la liste des pages que vous voulez leur faire connaître.
On les confond souvent alors qu'ils tirent dans des directions opposées : l'un ferme des portes, l'autre en ouvre. Et aucun des deux ne décide de l'indexation, c'est-à-dire de la présence d'une page dans les résultats de recherche. Cette distinction entre explorer et indexer est la clé de la plupart des erreurs que je croise en audit, on y revient plus bas. Pour resituer ces étapes dans la chaîne complète, j'ai détaillé ailleurs comment Google explore, indexe et classe les pages.
La syntaxe du robots.txt, ligne par ligne
Le fichier vit à une adresse précise : la racine de l'hôte, par exemple votre-site.fr/robots.txt. Placé ailleurs, il est ignoré. C'est un simple fichier texte encodé en UTF-8, organisé en groupes de règles. Chaque groupe commence par une ligne User-agent qui désigne le robot concerné (l'étoile vise tous les robots), suivie de lignes Disallow et Allow qui ferment ou rouvrent des chemins.
User-agent: * Disallow: /admin/ Disallow: /panier/ Allow: /admin/aide-publique/ Sitemap: https://votre-site.fr/sitemap.xml
Quelques règles de lecture qui évitent bien des surprises. Un Disallow vide autorise tout. Un Disallow: / seul bloque tout le site. En cas de conflit entre plusieurs règles, la plus spécifique gagne, c'est-à-dire celle dont le chemin est le plus long : dans l'exemple ci-dessus, le dossier admin est fermé mais son sous-dossier d'aide reste ouvert. L'étoile sert de joker dans les chemins, le symbole dollar marque la fin d'une URL (pratique pour viser une extension de fichier précise), et la ligne Sitemap: est indépendante des groupes, avec une URL absolue.
Tout cela est spécifié noir sur blanc dans la documentation Google Search Central, qui précise aussi un détail rarement connu : Google ne lit que les premiers 500 kibioctets du fichier. Aucun site normal n'approche cette taille, mais je l'ai déjà vu dépasser sur un robots.txt généré dynamiquement qui accumulait des milliers de lignes.
Les pièges classiques (je les vois toutes les semaines)
Le plus destructeur : bloquer les fichiers CSS et JavaScript. C'était une pratique courante à l'époque où Google ne lisait que le HTML brut. Aujourd'hui il affiche les pages comme un navigateur, et s'il ne peut charger ni les styles ni les scripts, il voit une page cassée, parfois vide. Sur un vieux site WordPress, un Disallow hérité sur les dossiers techniques peut suffire à dégrader le rendu de tout le site. Google recommande explicitement de laisser ces ressources accessibles.
Deuxième confusion, la plus répandue : croire que Disallow désindexe. C'est faux, et c'est même l'inverse qui peut se produire. Le robots.txt empêche l'exploration, pas l'indexation : si d'autres sites pointent vers une page bloquée, Google peut l'indexer sans jamais l'avoir visitée, avec un résultat sans description. Pire : la balise noindex, le vrai outil de désindexation, ne fonctionne que si Google peut explorer la page pour la lire. Bloquer la page dans le robots.txt empêche donc le noindex d'agir. La bonne séquence : laisser la page explorable, poser le noindex, et n'envisager un blocage qu'une fois la page sortie des résultats.
J'ajoute deux pièges repérés dans les logs serveur. Le fichier en erreur : quand le robots.txt répond en erreur serveur (code 5xx), Google considère temporairement le site comme entièrement fermé à l'exploration, faute de savoir ce qui est autorisé. Un fichier absent, en revanche, vaut autorisation totale : une 404 sur le robots.txt n'a rien d'inquiétant. Et la casse : les chemins sont sensibles aux majuscules, /Admin/ et /admin/ sont deux chemins différents pour un robot.
Le sitemap XML : une liste, pas une baguette magique
Le sitemap est un fichier XML qui énumère les URL de votre site, accompagnées au besoin de leur date de dernière modification. Son rôle : aider les moteurs à découvrir vos pages, en particulier celles que le maillage interne dessert mal. Contenus profonds, site récent que peu de liens externes signalent, catalogue volumineux : voilà ses vrais terrains d'utilité.
Soyons précis sur ce qu'il fait et ne fait pas. Figurer dans le sitemap ne garantit pas l'indexation, Google le dit sans ambiguïté : c'est un indice, pas un ordre. À l'inverse, une page absente du sitemap peut très bien être indexée si des liens y mènent. Sur un petit site bien maillé, l'apport reste modeste. Sur un gros site, il devient un instrument de pilotage, notamment parce que la Search Console sait croiser l'état d'indexation avec le contenu du sitemap.
Côté format, deux limites documentées : un fichier ne peut dépasser ni cinquante mille URL ni cinquante mégaoctets non compressé. Au-delà, on découpe en plusieurs fichiers réunis par un index de sitemaps. La date de modification (champ lastmod) mérite d'être renseignée honnêtement : Google indique s'en servir quand elle se révèle fiable, et ignorer les champs priority et changefreq. Dernière règle d'hygiène : ne lister que des URL finales, canoniques, répondant en code 200. Un sitemap rempli d'adresses qui redirigent fait perdre du temps aux robots ; après une refonte, mettez-le à jour au lieu de compter sur vos redirections 301 pour faire le travail.
Dernier cas particulier : si votre site existe en plusieurs langues ou vise plusieurs pays, le sitemap peut aussi porter les annotations de versions localisées. Je détaille ce mécanisme dans le guide sur le référencement international et les balises hreflang.
Soumettre son sitemap dans la Search Console
Deux canaux existent et se complètent. Le premier : la ligne Sitemap: du robots.txt, lisible par tous les moteurs. Le second : la Search Console, où le rapport Sitemaps (menu Indexation) permet de saisir l'adresse du fichier et de la valider. Le rapport affiche ensuite le statut du traitement et le nombre d'URL découvertes. La marche à suivre est décrite pas à pas dans l'aide officielle de la Search Console.
Le passage par la Search Console vaut la peine même quand le robots.txt déclare déjà le sitemap, parce qu'il débloque le croisement le plus utile de l'outil : le rapport d'indexation des pages filtré sur les URL du sitemap. C'est là qu'on voit si Google ignore une partie des pages qu'on lui propose, et pour quel motif. Vérifier ce trio (robots.txt, sitemap, rapport d'indexation) figure parmi les premiers gestes d'un audit technique bien mené : dix minutes qui suffisent parfois à expliquer des mois de stagnation.