bloquer les robots et ne recevoir que les vrais utilisateurs

[webexplorer]

Bonjour,

J'ai un petit souci avec un site que j'administre.
J'ai des stats via Xiti et Webalizer (fournie par mon hébergeur).
D'après Xiti, je tourne à environ 1200 visites uniques par jour, mais d'après Webalizer, c'est plutôt 7500 !
Après réflexion, la différence provient du fait qu'il y a énormément de robots qui viennent crawler mon site.

Depuis peu, mon hébergeur m'a contacté pour me dire que mon site consomme trop de ressources mysql.
J'ai donc optimisé les accès mysql. J'ai aussi installé un .htaccess pour bloquer toute une série de robots de la façon suivante :

RewriteEngine On 

RewriteCond %{HTTP_USER_AGENT} robot1 [OR]
...
RewriteCond %{HTTP_USER_AGENT} robotN
RewriteRule ^(.*)$ http://www.ailleurs.com/

mais ça n'a pas réglé le problème d'après mon hébergeur.

comment faire ?

merci

 

[Leonick]

bloquer certains robots avec robots.txt, parce que de vouloir bloquer tous les robots, cela va, à terme, bloquer a venue des visiteurs. Sauf s'ils ont le site dans leurs bookmarks ou que le site a beaucoup de BL bien positionnés

 

[hardmicro]

regardes ca sa pourrait peut être t'aider et arranger une partie de tes problèmes de robots. C'est mon fichier robots.txt

http://www.hardmicro-fr.net/robots.txt

 

[nomasis]

regardes ca sa pourrait peut être t'aider et arranger une partie de tes problèmes de robots. C'est mon fichier robots.txt

http://www.hardmicro-fr.net/robots.txt

Hello je dois avouer que j'ai regardé aussi.
Merci de l'avoir partagé.

 

[hardmicro]

regardes ca sa pourrait peut être t'aider et arranger une partie de tes problèmes de robots. C'est mon fichier robots.txt

http://www.hardmicro-fr.net/robots.txt

Hello je dois avouer que j'ai regardé aussi.
Merci de l'avoir partagé.

Derien c'est normal;-)

 

[polweb]

Oula tous ces robots !

Ils viennent vraiment tous ?

 

[hardmicro]

Ce sont pour la plupart des robots aspirateurs de sites

 

[polweb]

Ok, merci.