Comment trouver les pages avec meta robots noindex

WebRankInfo · 22 Juin 2015

Vous pensez sûrement qu'une balise meta robots ça ne se met que dans l'entête HTML d'une page (<head>).
Vous êtes encore plus certain que vous n'avez certainement aucune page de votre site avec une meta robots noindex cachée à l'intérieur du corps de la page (<body>).

Pourtant... l'erreur est humaine ! Et comme Google tient compte de cette meta robots noindex même ailleurs que dans l'entête HTML, les pages concernées sont sans doute désindexées...

C'est d'ailleurs ce qui est arrivé à un propriétaire de site ecommerce qui a trouvé le problème en lançant un audit RMTech.

Lisez les détails de cette histoire de noindex placée dans <body>

indigene · 22 Juin 2015

Et on peut également avoir du noindex via le htaccess

Code:

<filesMatch "robots\.txt$">
  Header set X-Robots-Tag "noindex"
</filesMatch>

Une erreur de codif dans la commande filesMatch et on peut exclure des répertoires entiers

WebRankInfo · 22 Juin 2015

oui bien entendu, on peut envoyer du noindex dans l'entête HTTP. ça aussi faut penser à le vérifier, pour 100% des URL.