.htaccess anti-aspirateur de site

nautiljon · 29 Mars 2005

bonjour,
ça fait un moment que je galère a me faire un htaccess, au final j'arrive a rien, ça bloque rien du tout, je comprend pas pourquoi pourtant j'ai fait comme il est dit sur http://www.toulouse-renaissance.net/c_o ... erifie.htm
Le contenu de mon fichier : http://www.nautiljon.com/ahtaccess.txt
Si quelqu'un pouvais me donner le code qui fonctionne de son htaccess car là je desespère.
Merci.

Nautiljon.

Ohax · 29 Mars 2005

https://www.webrankinfo.com/forum/t/aspirateur-de-site-web-htaccess-script.24860/

;-)

nautiljon · 29 Mars 2005

J'ai copié tel quel le code que tu as fournis dans ton 1er post, j'ai mis le .htaccess à la racine de mon site web, je lance webcopier pour tester et il m'aspire mon site sans problème :S ?

....

mamat- · 29 Mars 2005

Certains aspirateur, je ne sais pas pour webcopier, lise et respecte le robots.txt, pour ce qui est du .htaccess il peut aussi suivant la progrmation trés facilement le respecter ou pas !

scores · 29 Mars 2005

le problème avec toulouse-renaissance.net c'est que ces articles sont très anciens (+ 2-3 ans) si mes souvenirs sont bons,
alors bon nombres d'aspirateurs ont depuis longtemps contourné les astuces.

Ya que le liste htaccess des robots à bannir qui doit peut être être à jour.

nautiljon · 29 Mars 2005

b'ah en faite déjà si j'arrive à faire fonctionner un script même si les infos sont pas à jour c'est pas grave !

nautiljon · 29 Mars 2005

Apparament ça viendrai du serveur ? (OVH)
J'ai mis le strict minimum dans le htaccess à savoir :

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} WebCopier
RewriteRule .*$ http://www.sitefree.fr/403.php [R,L]

ça fonctionne bien, ça revoi sur la page 403 quand j'utilise Wepcopier mais apparament ça genère une erreur dans mes pages car le javascript de mon site ne fonctionne plus dès que j'utilise RewriteCond...

Je comprend pas :S, c'est vraiment très zarb, et le code de mes pages est valide xhtml !

Donc en attendant de trouver la solution, j'utilise la solution de bjp :

Code:

........
.......
SetEnvIfNoCase User-Agent "^Xenu's" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot
SetEnvIfNoCase User-Agent "^exabot.com" bad_bot
<Limit GET POST PUT HEAD>
order allow,deny
allow from all
deny from env=bad_bot
</Limit>

Je sais pas si c'est plus lourd ou quoi mais ça fonctionne, ça bloque bien.

bjp · 29 Mars 2005

Oh, c'est une soluce que j'avais pompé sur un forum US, mais elle marche bien.

Norbert_404 · 24 Janvier 2007

Bonjour,

C'est un peu HS mais mais en même temps je flag ;-)
Je développe mon site perso bilingue (Anglais + Fr) qui fait en tout 60/Mo de données et 56 pages.

Je me suis aperçu que la consommation cumulée du mois de Janvier s'éléve à ce jour à 1.06 Go ! 8O :smiley qui fait une crise cardiaque:
Sachant que j'ai de plus en plus de visiteurs sur mon site et ce, depuis des pays de plus en nombreux et exotiques, je crois que mon site a été aspiré...
Est-ce dû à ce fameux grand chambardement de google produit réccement ?
Un aspirateur ?
Vous en pensez quoi ?

Je mène l'enquête...

Bellegarde-webb · 24 Janvier 2007

nautiljon a dit:
Donc en attendant de trouver la solution, j'utilise la solution de bjp :

Code:

........ ....... SetEnvIfNoCase User-Agent "^Xenu's" bad_bot SetEnvIfNoCase User-Agent "^Zeus" bad_bot SetEnvIfNoCase User-Agent "^exabot.com" bad_bot <Limit GET POST PUT HEAD> order allow,deny allow from all deny from env=bad_bot </Limit>

Je sais pas si c'est plus lourd ou quoi mais ça fonctionne, ça bloque bien.

Je ne suis pas chez OVH.
Je veux que tu précises car je ne comprend pas le code cité. Je peux ajouter tel quel le code
cité dans mon .htaccess et après ... et je n'aurai pas de problèmes??

J'aimerai quand meme comprendre ce que fait le code en détail.