[Résolu] Connaissez-vous NatCrawBloc ?

[broidsy]

Bonjour à tous,

Depuis plusieurs mois j'observe dans mes stats un nombres relativement important de hits provenant de
natcrawlbloc01.net.m1.fti.net, natcrawlbloc02.net.m1.fti.net, natcrawlbloc03.net.m1.fti.net et natcrawlbloc04.net.m1.fti.net ...

J'ai donc voulue en savoir un peu plus mais je ne trouve que très peu d'informations sur ce nom d'hôte.
Une petite recherche sur Google montre que je ne suis apparemment pas le seul à être visité par ce "crawler" (?)

Voici les quelques informations que j'ai pu obtenir :
http://www.ip2location.com/81.52.143.15
http://www.robtex.com/dns/natcrawlbloc01.net.m1.fti.net.html
http://www.robtex.com/dns/net.m1.fti.net.html
(rien sur http://www.annuaire-info.com/robots.html )
=>
"WANADOOPORTAILS AS Wanadoo Portails/Direction technique Internet portals for offers multiples services"
Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; r ... 81.52.143.--- [Srv] natcrawlbloc.net.m.fti.net


Tout ceci est un peu vague, Wanadoo / Orange serait donc à l'origine de NatCrawBloc ???

Je trouve relativement étrange de ne pas pouvoir trouver plus d'informations sur cet hôte qui génère cette quantité de hits.
Je voulais donc savoir, d'une part, si quelqu'un connaît "NatCrawBloc" et d'autre part si vous pensez que je devrait bloquer ce "crawler" (?).
Je n'aime en effet pas beaucoup retrouver le contenu de mon site copier/coller sur d'autre sites plus ou moins douteux...


D'avance merci !

 

[Tilt]

J'ai voilabot comme user agent, donc voila.fr.
Tu n'es pas le seul à avoir remarqué cela :
https://www.webrankinfo.com/forum/t/voilabot-me-fatigue.86686/

 

[broidsy]

Tu n'es pas le seul à avoir remarqué cela :
https://www.webrankinfo.com/forum/t/voilabot-me-fatigue.86686/

Désolé je ne voulais pas faire de double post, mais la recherche avec le mot clef "natcrawlbloc" n'a retourné aucun résultat sur ce forum...

J'ai voilabot comme user agent, donc voila.fr.

Merci de ta réponse, mais comment as-tu réussi à faire le lien avec Voila.fr ? Où as tu trouvé "voilabot comme user agent" ???

 

[Tilt]

oui, voilabot en user agent dans les logs (j'en log certains), ça ne veut rien dire, mais il y a aussi le whois :
http://whois.domaintools.com/fti.net

Si tu es sous php tu peux ajouter ce script quelque part pour récupérer le user agent.

<?
if(preg_match("`voila`i",$_SERVER["HTTP_USER_AGENT"])){
$f=fopen("voila.txt","a");fwrite($f,date("d.m.Y H:i:s")." -- ".$_SERVER["REMOTE_ADDR"]." -- ".$_SERVER["HTTP_USER_AGENT"]." -- ".gethostbyaddr($_SERVER["REMOTE_ADDR"])."\r\n");fclose();
}
?>

Tu attends 1h et tu consultes "voila.txt"

 

[broidsy]

Merci pour ces précisions !

Pour la petite histoire :
Apparemment Voilabot se fait plus ou moins passé pour un navigateur classique (IE 5) puisqu'il utilise comme user agent Mozilla/4.0 (compatible; MSIE 5.0; Windows 95) VoilaBot; 1.6) et non un simple "Yahoo! Slurp", "Googlebot/2" ou "msnbot/1.0"...

Je comprend mieux maintenant pourquoi je ne trouvé pas le nom "VoilaBot" dans mes stats...