Pourquoi Google n'indexe pas toutes les URL du sitemap ?

Taux d'indexation des URL d'un fichier sitemap

Normalement, les URL que vous fournissez dans un ou plusieurs fichiers sitemaps devraient être indexées par Google - au bout d'un certain temps.

Je vous propose de commencer par calculer le taux d'indexation. Voici les étapes :

1. allez dans votre compte Google Search Console
2. allez dans la section Indexation > Pages
3. en haut, à la place de "Toutes les pages connues", choisissez le sitemap à analyser
4. Google affiche le nombre de pages "non indexées" et "dans l'index"

taux d'indexation = "dans l'index" / ("non indexées" + "dans l'index")

La procédure est identique dans Bing Webmaster Tools.

OK alors si votre taux est trop faible, lisez la suite...

Raisons techniques d'une non-indexation

Il existe plusieurs raisons techniques qui font qu'une URL ne peut pas être indexée :

• si elle renvoie un autre code HTTP que 200, elle n'est pas accessible de façon correcte et ne peut pas être indexée
• si elle est bloquée dans le fichier robots.txt et que Google ne l'a pas encore indexée, étant donné qu'il n'est pas autorisé à la crawler, il ne pourra pas l'indexer
• si elle contient une balise meta robots noindex ou none, elle sera crawlée mais pas indexée
• si un entête HTTP X-Robot-Tag noindex ou none est envoyé pour cette URL, elle sera crawlée mais pas indexée
• si l'URL contient une URL canonique différente, il est probable que Google l'indexe mais sous l'autre URL (la canonique). Si vous n'êtes pas à l'aise avec les URL canoniques, lisez mon tutoriel
• si le type MIME n'est pas pris en charge par Google, elle ne sera pas indexée. Dans votre sitemap, mettez des URL de documents HTML ou PDF, Word, etc. mais pas des formats de fichiers inconnus.

Ça, c'était uniquement les raisons techniques. Passons à la suite

Pourquoi Google n'indexe pas toutes les pages

Voici quelques pistes qui pourraient expliquer un taux de pages indexées trop faible :

• le maillage interne n’est pas optimal : trop de pages sont trop profondes, c’est-à-dire accessibles en trop de clics (sur des balises a href) depuis la page d’accueil. Pour calculer la profondeur de chacune des URL de votre site, utilisez mon outil My Ranking Metrics pour lancer un audit "RM Tech". Vous pourrez ainsi identifier le genre de pages trop profondes afin de réduire leur profondeur. Au passage, 100% des pages de votre site seront passées au crible de plusieurs dizaines de critères techniques SEO, ce qui devrait vous aider à progresser ;-)
• le site contient de nombreuses pages sans contenu (pas de produit disponible par exemple) ou trop similaires (contenu presque dupliqué)
• le site ne dispose pas d’assez de backlinks profonds (c'est-à-dire pointant vers une page interne de votre site, pas la page d'accueil)
• éventuellement : trop peu d’internautes consultent vos pages (Google vient parfois crawler des pages repérées via de nombreuses visites d’internautes avec Chrome)

Précisions sur les rapports de la Search Console

Il peut aussi y avoir des explications liées au fonctionnement de Google Search Console.

Les nombres d'URL indiqués par Google pour les sitemaps sont actualisés une fois par jour. Si vous comparez à l'état de l'indexation (autre rapport de GSC), celui-ci n'est actualisé qu'une fois par semaine.

Enfin, il arrive parfois qu'un bug chez Google perturbe l'analyse. Par exemple, le nombre d'URL indexées peut être inférieur à la réalité en raison d'un bug reconnu officiellement par Gary Illyes en juillet 2015 (et corrigé ensuite : source).

Comment faire indexer une page immédiatement par Google

Pour faire indexer une page en particulier, c’est simple et rapide avec Google Search Console :

1. allez dans votre compte Google Search Console
2. en haut, dans le formulaire, indiquez l'URL à faire indexer et validez
3. cliquez sur "Demander une indexation"

Au bout de quelques heures, un jour maximum, la page devrait être indexée. Mais d'une part ce procédé manuel devrait rester exceptionnel, d'autre part, ça ne fonctionne pas toujours.

Si ça ne suffit pas, c'est que vous avez un problème sur votre site, pas forcément sur la page qui ne veut pas s'indexer. C'est un problème plus global de qualité de l'ensemble de votre site. Pour l'évaluer très facilement, la matrice QualityRisk Zombie est une analyse très efficace.

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici