Nouveau bot Nutch = NutchCVS/0.06-dev

[azzurro2]

Bonjour,

Je reçois depuis hier la visite plutôt encombrante d'un moteur du nom de Nutch ( NutchCVS/0.06-dev ) identifié par l'adresse 195-13-58-186.oxyd.net .
En deux jours il m'a bouffé plus de 800 Mo de bande passante.

En savez-vous plus ??

Merci de vos réponses

 

[Gromka]

http://www.nutch.org/docs/en/bot.html

 

[azzurro2]

Spider Open source

Oui je suis déjà allé voir. C'est juste une page qui explique le principe de ce robot open source. Ceci dit je ne sais toujours pas qui est derrière ce cas précis.

 

[tuisp]

Voir http://www.01net.com/article/215086.html ou, encore plus simplement, une recherche "nutch" sur le site WRI...

 

[azzurro2]

Absolument d'accord

Je suis déjà allé voir ces pages. Le problème c'est que n'importe qui peut installer ce spider sans savoir à quel moteur il va servir.
A partir de là tout le monde pourra créer son pseudo moteur de recherche avec des retombées misérables pour les webmasters.
Faut-il réellement leur donner un giga de bande passante en deux jours pour des résultats plus ou moins dérisoires ?

Faut-il le bloquer ou le laisser faire ??
D'autant plus que ses visites ou plutôt sa visite est pour le moins gourmande.

En ce qui me concerne ne sachant pas a qui sont destinées les informations issues de son passage je serai favorable à son blocage.

J'aurai aimé connaître votre point de vue. :wink:

 

[milkiway]

Qui l'utilise ce moteur ?
Ca me tente bien moi.

 

[Gromka]

Block

 

[milkiway]

Pardon ?

 

[Gromka]

Faut-il le bloquer ou le laisser faire ??
[...]
J'aurai aimé connaître votre point de vue.

Le bloquer. Économisez la bande passante pour les vrais bots qui te donnent des visiteurs.

ps: pardon pour le malentendu, milkiway

 

[milkiway]

On peut l'utiliser en interne ce moteur ? Pour un site ?