robot.txt interdire certains bots de venir

[john2]

lut, je voudrait a l'aide du fuchier robot.txt interdire l'access a certain robot

voir mieux un code qui indiquerait qu'elles sont les robot qui peuvent venir indexer le site ( et donc tout les autres ne pourrait venir )

par exemple seulement autoriser l'accès a google,yahoo et msn, que faudrait t-il mettre ?

si sa n'est pas possible, donc obliger de definir un par un ceux qu'on ne veut pas, existe t-il une liste avec tout les bots qui viennent flooder les requete sql et la bande passante ?

 

[john2]

a ui merci

bonne idee d'ailleur, je vais voir ce que mettent les plus gros site dans leur robots.txt

 

[padawan2]

Il est par nature difficile d'exclure les visiteurs source de "bot spamming" à moins de connaitre précisément leur IP ou user agent et de les exlclure par des moyens plus drastiques.

Tu ne viendras pas à bout des robots nuisibles avec un le robots.txt.

 

[john2]

a ui merci de l'avoir dit, j'ai chercher un peu et je suis tmber sur ce script

http://www.modsecurity.org/documentatio ... stallation

mais sa ma l'air compliquer a installer :? il faut pas mal de truc d'installer avant

si quelqu'un conait un script plutot moyennement a jour, voir meme très a jour, pas autant compliquer que l'autre a installer :twisted:

 

[Madrileño]

Re: robot.txt interdire certain bot de venir

Peut être que ça peut être utile ce post sur les bots d'aspiration si vous cherchez à limiter les accès :
https://www.webrankinfo.com/forum/t/aspirateur-de-site-web-htaccess-script.24860/

Ou encore connaître les bots qui viennent sur le serveur avec RobotStats:
https://www.webrankinfo.com/forum/f/le-site-webrankinfo.4/

 

[john2]

merci pour les liens

j'ai trouver un plugin ( pour joomla ) mais sa doit se trouver pour tout site, qui permet de mettre une protection contre le fllood ( bot rapide ) ( exemple 10 clic max en 10sec ) si plus, il y a un page ( fllooding ) qui s'ouvre et qui reste active pendant 30sec

mais je ne sais pas si c'est vraiment efficace, si les bot change d'ip a chaque clic, pas sur que sa fonctionne