Optimiser le crawl Google

[Jeanne5]

Bonjour,

Prenons un cas d'école, enfin un cas qui m'intéresse ! :lol:

J'ai sur un site des pages de profil de membres en très grand nombre avec peu de contenus donc mis en noindex depuis Panda (même si elles ont un intérêt pour les visiteurs).
Ces pages sont linkées un peu partout sur le site quand un membre intervient.

Les pages de profils représentent les 9/10ème des pages du site même si en noindex.

Donc google passe bcp de temps à les crawler alors que ca a peu d'intérêt.

Je voudrais donc l'en empecher en masquant ces liens.

- J'ai pensé au Nofollow sur les liens vers ces pages (mais je ne veux pas donner à GG l'impression de faire du PR Sculpting et donc de la suroptimisation).

- ou à du javascript (mais j'ai l'impression que GG l’interprète de mieux en mieux et que ca aurait peut-être le même effet).

Comment feriez-vous ?

Merci.

 

[M&B Multimédia]

robots.txt ?

 

[anemone-clown]

Si tu utilises un CMS classique, pourquoi ne pas simplement modifier les templates afin de ne pas inclure les liens vers les pages "membres"? Généralement, ce n'est pas très compliqué de modifier les templates pour supprimer des liens. Tu ne laisses le lien du membre que dans les messages/interventions d'une discussion.

Eventuellement, en plus du "noindex" dans les pages membres, ajoute "noarchive" dans la meta robots (mais laisse le follow si tu as des liens qui pointent vers des pages de ton site)! Ca devrait éviter aux robots de venir trop souvent.

 

[Jeanne5]

Merci de vos retours. Il s'agit d'un dev spécifique donc que je maitrise de A à Z. Je peux donc faire "facilement" ce que je veux.

Je ne souhaite pas supprimer les liens car ils sont utiles aux visiteurs.
Par contre je cherche la meilleure façon de les rendre invisibles à GG pour qu'il ne crawle pas de (nombreuses) pages en "noindex" inutilement et ne gaspillent pas sa capacité de crawl de mon site sur ces pages.

Si je les bloque au niveau du robots.txt, est-ce qu'il ne va pas tout de même fréquemment venir essayer de les crawler pour se voir refuser l'accès ?

 

[colonies]

Si je les bloque au niveau du robots.txt, est-ce qu'il ne va pas tout de même fréquemment venir essayer de les crawler pour se voir refuser l'accès ?

https://support.google.com/webmasters/answer/156449?hl=fr

 

[Leonick]

moi je ferais un répertoire virtuel pour les fiches des membres et je bloquerais ce répertoire aux robots

 

[Jeanne5]

Merci de vos retours.

Est-ce que bloquer l'accés au robot ce n'est pas tout de même gaspiller de la puissance de crawl de GG (s i on admet que le Googlebot se limite à un nb de pages à visiter par jour/par site).

Je ne vois pas la réponse claire à cette question dans le support google : https://support.google.com/webmasters/answer/156449?hl=fr

Merci encore.

 

[colonies]

nous n'explorons ni n'indexons le contenu des pages bloquées par le fichier robots.txt

c'est pas clair ? 8O

 

[Jeanne5]

OK donc unanimité pour le robots.txt.

Merci, ce n'était pas dans mes options et il n'y a pas plus simple à faire.

(Je vous tiendrai au courant si ça baisse mon nombre de pages quotidien explorées par GGbot).

 

[Luci0lle]

Bonjour Jeanne,

je relance ce topic, pour en savoir plus sur ce que vous avez décidé de faire, et quel a été le résultat ? (topic super intéressant)

Merci merci merci