Le fresh-deep crawl c'est partiiiii !

WRInaute discret
Après Esmeralda, les sentinelles freshbot (qui sont en fait des deep crawls) semblent actuellement être en train de spiderer les sites .
Bonne nouvelle donc. Si c'est chez moi, c'es que ça devrait arriver chez vous bientot !!

Koros
 
WRInaute accro
ca fait un moment qu on entend parler de ces fresh bot qui se prendraient pour des deep mais.....:

question : parle t on d un deep crawl a l interieur d un meme site. donc des bots qui parcourent toute l arborescence d un site ou des vrais deepbot-de-la-mort-qui-tue-sa-méme crawlant aussi au dela du site en suivant les links externes ?

a+
hervé
 
Discussions similaires
Haut