Exclure les robots des fichiers de log IIS

echaize · 20 Janvier 2005

Comment peut-on faire pour exclure des logs d'un serveur Web (en l'occurrence IIS6) les requêtes effectués par les robots ?
J'utilise LogAnalyzer du SDK IIS qui permet de faire des requêtes avec des filtres mais je ne sais pas sur quel champ des log basée ma requête pour exclure les robots.
L'objectif étant d'avoir des stats de fréquentation sans les requêtes des robots !

iconso · 20 Janvier 2005

Il faut mettre ton filtre sur le champ User-Agent. Une autre méthode pourrait être de commencer par extraire une liste d'adresses IP et/ou User-Agent ayant accédé à ton robots.txt, puis de les exclure de tes analyses.

Fred

echaize · 20 Janvier 2005

iconso a dit:
Il faut mettre ton filtre sur le champ User-Agent. Une autre méthode pourrait être de commencer par extraire une liste d'adresses IP et/ou User-Agent ayant accédé à ton robots.txt, puis de les exclure de tes analyses.

Fred

Où puis-je trouve une liste exhaustive des user-agent envoyés par les principaux robots ?

Merci

iconso · 20 Janvier 2005

Une liste assez complète : http://www.psychedelix.com/agents.html et http://www.robotstxt.org/wc/active/html/index.html

Les principaux : http://www.actulab.com/identification-des-robots.php (et tu as des liens vers d'autres listes)

Fred

echaize · 21 Janvier 2005

Exemple de requête avec le logparser du SDK IIS6

Voici la requête que j'ai faite pour exclure les robots (certains) de mes fichiers de log IIS6 :

logparser "SELECT * FROM C:\WINDOWS\system32\LogFiles\Easimmo\W3SVC1045425633\ex0501.log TO GetAllExceptInternalAndRobots.txt WHERE INDEX_OF(cs(User-Agent) , 'Googlebot') < 0 and INDEX_OF(cs(User-Agent) , 'msnbot') < 0 and INDEX_OF(cs(User-Agent) , 'Slurp') < 0 and INDEX_OF(cs(User-Agent) , 'InnerpriseBot') < 0 and INDEX_OF(cs(User-Agent) , 'Crawl')<0 and INDEX_OF(cs(User-Agent) , 'Mediapartners-Google') < 0 and INDEX_OF(cs(User-Agent) , '+Ask+Jeeves/Teoma') < 0 and INDEX_OF(cs(User-Agent) , 'SurveyBot') < 0 and INDEX_OF(cs(User-Agent) , 'psbot') < 0 and INDEX_OF(cs(User-Agent) , 'moteur+IDF.net') < 0 and INDEX_OF(cs(User-Agent) , 'WISEnutbot') < 0 and INDEX_OF(cs(User-Agent) , 'NG/2.0') < 0 and INDEX_OF(cs(User-Agent) , 'PHP/') < 0 and INDEX_OF(cs(User-Agent) , 'libwww-perl') < 0 and INDEX_OF(cs(User-Agent) , 'Python') < 0 and sc-status <> 404 ORDER BY date, time" -o:W3C

Le SDK IIS6 est disponible à : http://www.microsoft.com/downloads/deta ... laylang=en

stephanelhomme · 25 Février 2006

Bonjour,
Les robots ne sont pas obligés d'utiliser un User Agent contenant leur nom.... ils peuvent utiliser un UA vide par exemple pour tromper tout le monde
Y a t il une autre methode pour les detecter ?
Merci de votre aide
Stéphane

jeanluc · 25 Février 2006

Pour un analyseur de fichiers log de 1ère classe, voir AWStats. Il est gratuit, il est disponible en version française et il sépare très bien les robots des visiteurs humains.

Jean-Luc