Vitesse de crawl (nombre de page vue/seconde) ?

[kinteba]

Bonjour,

est-ce que quelqu'un sait combien de page un robot comme Googlebot visite par tranche de seconde ou de minute svp ?

Apparement sur ce topic en 2003 c'était environ 1 page/seconde avec un changement d'IP.

 

[FloBaoti]

GoogleBot ce n'est pas un serveur, mais des milliers à travers le monde.
Chacun doit largement faire 1 page par seconde effectivement (même plus).

 

[kinteba]

Merci pour ta réponse.

Sur un même site, il ne visionne pas 1 page/seconde, si ?

Ou alors pas avec la même IP, quelqu'un à déjà observé comment ça se passe ?

 

[aiepepito]

Sur un même site, il ne visionne pas 1 page/seconde, si ?

Cela doit avant tout dépendre de la vitesse du site je suppose... puisque pour indexé une page il semblerait logique de l'avoir chargé en totalié.

 

[kinteba]

Sauf si il y'a plusieurs GoogleBots avec des IP différentes, chacun peut crawler une page en silmultané.

Bon apparement personne n'a observé ce phénomène ... ?

 

[fred5550]

Si, même que ça surcharge pas mal le serveur, mais bon, au plus il visite ... :wink: