Frequence des full crawl de googlebot

WRInaute impliqué
Bonjour,
je voulais juste savoir quelle etait la frequence des full crawls des bots de gg et si cela correspondait avec d'autres evenement ( mise a jour des backlinks ou ggdance ou autre )
merci
rtb
 
WRInaute passionné
Bin dépend de 4056430741 paramètres ;) L'importance de ton site à ses yeux, entre autre :) ( on va plus parler de pagerank hin :P )
 
WRInaute impliqué
Non cela ne correspond (plus) à aucun évènement particulier.

Sinon, la fréquence est très variable selon les sites. Certains disent que c'est lié à la fréquence des mises à jour... personnellement, je ne le pense pas.
 
WRInaute impliqué
Cela semble bien aleatoire pourtant ce sont des programmes, doit bien y avoir une logique... sur vos site, cela se produit en moyenne tous les combiens de temps ? Est ce regulier, aleatoire ?
 
WRInaute impliqué
Il n'y a plus de full crawl en tant que tel depuis au moins 1 an (ou 2 ?).
Googlebot lit des pages de façon isolée et étalée sur toute une journée.
Il se trouve que sur certains sites toutes les pages sont ainsi lues chaque jour (ce qui équivaut à l'ancien full crawl mais étalé sur toute une journée) alors que sur d'autres sites certaines pages ne vont être lues que 3 fois dans le mois.

La logique ? On ne la connaît pas et, de façon surprenante, cela n'a jamais été une question qui passionne les forums.
 
WRInaute impliqué
La logique d'indexation est quand meme un sujet interessant, surtout pour ceux qui travaillent sur leur site, ce qui est le cas de la plupart des membres de WRI
Pas evident de voir ses nouveaux sujets indexées deux semaines apres la mise en ligne ou le resultat des modifs de code prit en compte dans des delais important....
Ce serait quand meme interessant de mettre en evidence les differents facteurs qui motivent le passage des bots.
Si quelques membres ont deja fait des tests dans ce sens, je suis preneur.
 
WRInaute occasionnel
Et bien justement, moi aussi je pense que c'est important, car quand on met une page en ligne, on aime bien qu'elle soit indexé rapidement... et moi ce n'est plus le cas depuis que j'ai procédé à l'URL-Rewriting et que mes pages ont changé d'URL, et bien, le googlebot il ne vient plus que sur ma page d'accueil qui est la seul URL a ne pas avoir changé.

PS : comme en plus j'ai interdit les robots d'indexer mes anciennes URL avec un fichier robots.txt, et bien je vous dis pas le changement radical !!! :(
 
Discussions similaires
Haut