Déclarer le sitemap dans le fichier robots.txt
Article mis à jour le
Un fichier sitemap XML permet aux moteurs de recherche de découvrir plus facilement les pages à indexer sur un site. Pour qu’il soit pris en compte, il doit être signalé aux moteurs.
Pourquoi déclarer le sitemap dans le fichier robots.txt ?
Déclarer le sitemap dans le fichier robots.txt est souvent la façon la plus simple de faire !
L’avantage de cette méthode est qu’elle est facile à mettre en place : il suffit d’ajouter une ligne de texte dans un fichier déjà existant. Tous les robots accédant au fichier robots.txt verront l’emplacement du sitemap et pourront l’exploiter.
La seule difficulté, c'est de récupérer le fichier actuel, puis l'uploader une fois que le fichier est modifié. Utilisez un logiciel FTP ou une fonctionnalité offerte par votre hébergeur.
Si besoin, j'ai rédigé un article qui explique ce qu'est un fichier sitemap et à quoi ça sert.
Quel est l'inconvénient de cette méthode ?
Cette approche présente un inconvénient : vos concurrents peuvent consulter votre fichier robots.txt et découvrir l'adresse de votre sitemap. Ils sauront donc aussi les URL de vos pages stratégiques.
⚠️ Si le nom de votre sitemap est facile à deviner (sitemap.xml ou sitemap_index.xml), alors ça ne change rien... Ils pourront y accéder même s'il n'est pas indiqué dans le fichier robots.txt.
Comment ajouter le sitemap dans le fichier robots.txt ?
Certains plugins de sitemaps ajoutent eux-mêmes la déclaration dans le fichier robots.txt, mais si vous devez vérifier ou le faire à la main, voici les détails.
Syntaxe correcte
Pour déclarer un sitemap dans le fichier robots.txt, il suffit d’ajouter une ligne sous cette forme :
Sitemap: https://www.exemple.com/sitemap.xmlSi vous avez plusieurs sitemaps, ajoutez simplement une ligne par sitemap :
Sitemap: https://www.example.com/sitemap1.xml
Sitemap: https://www.example.com/sitemap2.xml
⚠️ Attention, l'URL de chaque sitemap doit être entière (URL absolue), en commençant par https://.
Si besoin, lisez mes conseils pour faire le fichier robots.txt.
Où placer la directive ?
La ou les lignes à ajouter peut être situées n'importe où dans le fichier robots.txt.
Je vous conseille de les mettre tout en bas, à la fin du fichier.
Vérification manuelle
Mieux vaut vous assurer que le sitemap est accessible, en tapant son URL dans un navigateur. Si le fichier s’affiche correctement et contient la liste des URL, cela signifie qu’il est bien accessible.
Autres questions
Allez dans Google Search Console, rubrique Indexation > Sitemaps. Vous devriez voir le ou les fichiers déclarés, sauf si c'est trop récent. Patientez quelques jours et ça devrait être OK. Cela dit… si vous pouvez aller dans Google Search Console, autant y déclarer les sitemaps
Oui, il est tout à fait possible de déclarer plusieurs sitemaps. Il suffit d'ajouter une ligne "Sitemap:" pour chaque fichier sitemap distinct. Cela est utile pour les sites de grande taille ou ceux segmentant leurs sitemaps par type de contenu.
En théorie oui, ça suffit : tant que le sitemap est déclaré dans le robots.txt. Bien entendu, si le fichier est modifié et que les lignes disparaissent, rien ne garantit que Google continue de consulter le sitemap.
Laisser un commentaire