Les générateurs de sitemap XML

Pourquoi il ne faut pas générer un sitemap avec un crawler

Un générateur de sitemap en ligne (externe au site) est tout simplement un crawler qui explore toutes les URL d'un site en suivant les liens, en partant de la page d'accueil. Il peut s'agir d'un outil en ligne ou d'un logiciel.

Un sitemap est un fichier listant toutes les URL que vous souhaitez faire indexer (si besoin, relisez mon dossier C'est quoi un sitemap ?).

À tout instant, chaque jour potentiellement, votre site évolue : des URL sont ajoutées, d'autres sont supprimées.

Quel est donc l'intérêt de crawler le site pour créer le sitemap ? Parfois, l'outil n'aura même pas encore fini de crawler que le site aura déjà évolué.

Bref, il est fort probable que le sitemap généré ne soit pas à jour. Et même s'il l'est, vous devrez tout recommencer dès que le site aura évolué...

Dernière raison : pensez-vous vraiment qu'un outil sera plus efficace que Google pour faire ce qui est son boulot de base depuis + de 25 ans ? L'outil de création de sitemap peut très bien se tromper, par exemple oublier des pages.

Et si vous avez un site tout petit qui n'évolue presque jamais ? Dans ce cas, faites la liste des URL et mettez-les dans un fichier texte avec une URL par ligne. Pas besoin de format XML, déclarez-le dans Google Search Console et Bing Webmaster Tools.

Comment générer des sitemaps correctement

La meilleure façon de générer un sitemap est de passer par un système automatisé en interne. Quelque chose qui s'interface directement avec la base de données et les actions d'édition du site. En d'autres termes, un outil qui a les moyens d'avoir la liste exhaustive des URL et qui est prévenu dès qu'il y a la moindre modification des URL du site.

Si vous utilisez un CMS, il est presque certain que la génération de sitemaps soit incluse, éventuellement par des plugins. J'ai par exemple listé les meilleurs plugins WordPress pour générer un sitemap.

Si vous avez un site développé sur-mesure, je vous conseille de créer un script pour générer vos sitemaps. Voici mes conseils :

• Seules les URL à faire indexer (canoniques) doivent être listées. En cas de pagination, les URL des pages 2+ devraient être présentes.
• Créez un sitemap (ou index) pour chaque type de pages (fiches produits, articles de blog, catégories, etc.)
• Faites un index de sitemaps à chaque fois que pour un type donné, il y a plus de 50.000 URL
• Votre script doit fonctionner avec un système de mise en cache
• Déclarez dans Search Console chaque index de sitemaps (ou chaque sitemap dans le cas où il n'y a pas besoin d'index). Cela permet de faire des analyses approfondies dans le rapport d'indexation de GSC.
• Si vous souhaitez éviter que vos concurrents scrutent vos sitemaps, ne fournissez pas les URL des sitemaps dans votre fichier robots.txt (cette information n'a pas de raison d'être publique).

Si vous souhaitez vraiment un générateur en ligne de sitemap

Si vous m'avez lu jusqu'ici et que vous n'êtes pas convaincu, c'est que vous avez sans doute une bonne raison. Donnez-la moi dans le forum !

Peut-être avez-vous un site qui n'évolue pas souvent, sans moyen interne d'avoir un sitemap. Dans ce cas, vous n'avez pas besoin d'un sitemap...

Le générateur de sitemap externe au site le plus connu est peut-être xml-sitemaps.com. Il crawle jusqu'à 500 pages en version gratuite. Il propose d'inclure des paramètres pour chaque page (priorité, mise à jour, etc.) mais comme il ne connait pas les valeurs réelles à indiquer, ça ne sert strictement à rien.

 Offre MyRankingMetrics 

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici