Lutter contre l'aspiration d'un site web

Cartapus · 30 Août 2004

Salut tout le monde

Pour empêcher l'aspiration j'utilise un script php qui bloque l'IP si 22 pages sont téléchargées en moins d'une minute.

Mais ce script présente certains inconvénients de par mon activité car le site est en page de démarrage de 30 PCs dans un cybercafé et l'ip (fixe) se fait parfois blacklister :roll:

D'où ma question: y aurait-il un système différent de celui-ci mais qui ait le même objectif, voir plus efficace? Comment procédez vous, vous?

Merci par avance :mrgreen:

dmathieu · 30 Août 2004

je suppose que ton cyber café à une ip fixe.
dans ce cas la, ignore la...

Cartapus · 30 Août 2004

Pas con comme idée mais pas idéal car on peut aspirer à partir d'un PC au cyber. Connaissez vous un script ou moyen de lutte qui règle tous ces pb à la fois?

manitou · 30 Août 2004

Quand c'est cette ip tu monte seulement la limite !!

Cartapus · 30 Août 2004

Ouaip en effet bien vu, mais ne préférez vous pas d'autres moyens autres que celui-ci?

manitou · 30 Août 2004

Ben pour un ip avec un réseau derrière il ne reste que les cookies mais tt le monde ne les acceptent pas.

iconso · 30 Août 2004

Quelques idées en vrac :
- Bases toi sur le couple IP + UserAgent plutot que l'IP seule
- L'idée de manitou aurait pu fonctionner mais les aspirateur ne doivent pas manger beaucoup de cookies... Par contre tu peux sans doute inverser cette idée et te dire qu'une personne qui accepte un cookie peut voir augmenter son nombre de pages visualisables dans ton temps de controle
- Sur chacune de tes pages tu peux intégrer un lien discret proche du <body> vers une page unique, qui contient un script pour réduire la limite de comptage pour l'IP qui la visite. Le lien doit répondre aux conditions des moteurs mais rester suffisamment discret pour ne pas trop être cliqué par de vrais visiteurs. Sur ce script pense à gérer les principaux moteurs de recherche, sinon tu leur fermera la porte au nez. (technique déconseillée si tu ne connais pas bien les moteurs)
- Fais attention aux IP AOL qui passent par des proxies

Fred

cybervince · 30 Août 2004

Perso je verrai plutot une restriction mise en place avec le mod-rewrite en fonction du USER-AGENT. Si il est égal à un useragent d'aspirateur, tu rewrite vers une page d'accès interdit.
Par contre c'est pas infaillible, et bon nombre d'aspirateurs sont paramétrables pour se faire passer pour IE ou autre, tout comme le fait qu'il te faudra tenir cette liste à jour.

Cartapus · 31 Août 2004

iconso a dit:
- Bases toi sur le couple IP + UserAgent plutot que l'IP seule

... en utilisant le fichier robots.txt n'est ce pas?

iconso a dit:
- L'idée de manitou aurait pu fonctionner mais les aspirateur ne doivent pas manger beaucoup de cookies... Par contre tu peux sans doute inverser cette idée et te dire qu'une personne qui accepte un cookie peut voir augmenter son nombre de pages visualisables dans ton temps de controle

...pas mal mais c'est dommage pour les personnes qui refusent à juste titre les cookies, pour une raison ou pour une autre, pas très démocratique tout ça.

iconso a dit:
- Sur chacune de tes pages tu peux intégrer un lien discret proche du <body> vers une page unique, qui contient un script pour réduire la limite de comptage pour l'IP qui la visite. Le lien doit répondre aux conditions des moteurs mais rester suffisamment discret pour ne pas trop être cliqué par de vrais visiteurs. Sur ce script pense à gérer les principaux moteurs de recherche, sinon tu leur fermera la porte au nez. (technique déconseillée si tu ne connais pas bien les moteurs)
- Fais attention aux IP AOL qui passent par des proxies

... interessant comme approche surement l'idéal, mais ça suppose d'être un intime des bots, connaître leurs ip, leurs noms de user-agent etc. Y aurait il une liste à jour de tout ça, même payante?

iconso a dit:
Fred

Merci Fred pour ta réponse !

cybervince a dit:
Perso je verrai plutot une restriction mise en place avec le mod-rewrite en fonction du USER-AGENT. Si il est égal à un useragent d'aspirateur, tu rewrite vers une page d'accès interdit.
Par contre c'est pas infaillible, et bon nombre d'aspirateurs sont paramétrables pour se faire passer pour IE ou autre, tout comme le fait qu'il te faudra tenir cette liste à jour.

Ok mais ne serait ce pas un peu dangereux cette méthode, ça s'apparente à une technique de cloaking non, même si ça concerne pas directement GGbot?

En tout cas, j'y vois plus clair... merci encore