Problème bloqués par le fichier robots.txt

Nouveau WRInaute
Bonjour
Avec mon extension Rank Math j'ai décidé d'exclure certaines de mes pages en ajoutant les balises meta noindex et noarchives pour ces pages mais également le disallow dans le robots.txt pour ces mêmes pages, mais dans la GSC j'ai les erreurs bloqués par le fichier robots txt.
Et quand je fais une inspection de l'une de ces pages je retrouve une balise
<meta name="robots" content="follow, noindex, nofollow">, je ne sais pas d'ou vient le follow et comment l'enlever ?
Merci
 
Olivier Duffez (admin)
Membre du personnel
si le but est de désindexer ces pages, il ne faut pas les bloquer au crawl, sinon Google ne peut pas savoir qu'il y a du noindex.

dans la GSC j'ai les erreurs bloqués par le fichier robots txt
car il y a des liens internes follow vers ces URL, ce qu'il faut éviter

je ne sais pas d'ou vient le follow et comment l'enlever ?
je ne sais pas non plus mais peu importe. mettre une meta robots "nofollow" n'a aucun intérêt je pense
 
Nouveau WRInaute
si le but est de désindexer ces pages, il ne faut pas les bloquer au crawl, sinon Google ne peut pas savoir qu'il y a du noindex.


car il y a des liens internes follow vers ces URL, ce qu'il faut éviter


je ne sais pas non plus mais peu importe. mettre une meta robots "nofollow" n'a aucun intérêt je pense
Merci pour la réponse
Le but était justement de les bloquer au crawl, c'est raté, sans doute à cause des liens internes, et comme c'est difficile de virer tous les liens internes, la seule solution est d'enlever le disallow dans le robots.txt et de mettre ces pages en noindex?
 
Nouveau WRInaute
Merci pour l'article, je vais opter pour le noindex, même si au départ je voulais éviter pour un meilleur budget crawl, je vais voir ce que ça va donner.
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut