Yahoo Comment détecter le robot Yahoo! Slurp

Olivier Duffez (admin)
Membre du personnel
Avec RobotStats, il suffit de changer la configuration du robot Slurp (Inktomi) pour indiquer uniquement comme nom d'agent
en activant la détection par le nom d'agent.
Depuis hier il a visité 600 pages de WRI...
 
Olivier Duffez (admin)
Membre du personnel
je l'ai meme vu visiter des pages avec des horribles identifiants de session. je me demande s'il va les indexer ?
 
WRInaute occasionnel
à mon avis s'il visite la page c'est qu'il va l'indexer, mais peut être avec le numéro de session dans l'url...
 
Discussions similaires
Haut