La balise meta robots est-elle vraiment reconnue ?

[fbparis]

bonjour,

j'ai une balise <meta name="robots" content="index,follow"> dans la section head de chacune de mes pages et j'ai aussi codé un script php qui me permet de suivre le parcours des robots qui visitent mon site.

et je me suis apercu que googlebot et slurp ne visitaient que la page index.php sans suivre les liens.

comment peut on expliquer ca ?

d'avance je precise qu'il n'y a pas d'identifiant de session collé pour chaque lien (j'ai entendu dire que le googlebot n'indexait plus les pages avec des identifiants de session) puisque quand un bot est reconnu, la session ne demarre pas.

FB - http://www.msnblockchecker.net

 

[jeanluc]

Bonjour fbparis,

Il est totalement inutile d'autoriser le robot à visiter tes pages. L'emploi de cette balise n'a de sens que quand tu veux interdire l'indexation ou le suivi des liens.

Le robot ne visite pas tes pages "à ta demande", mais quand il en a envie... :wink:

Le comportement que tu décris est classique. Le robot fera quelques visites de ta page d'accueil avant d'approfondir... Patience, patience...

Jean-Luc

 

[fbparis]

merci c'est exactement ce que je voulais savoir