Xenu, amusement mais erreurs en masse

[Batgo]

Bonjour,

Hier, je m'aperçois qu'une tonne d'erreurs 404 est en train de se faire sur le site ( j ai arreté de compter à partir de 750). N'ayant pas les logs en temps reel (pb de serveur), je vérifie aujourd hui.

Je vérifie et je vois que quelqu un s est amusé avec xenu sur mon site. Le problème n'est pas qu'il recherche les liens morts (encore que ça dépend pourquoi), mais surtout un floofing sur une adresse en particulier qui n'existe pas sur le site (+ 750 fois la même adresse!!!)

Bloquer l'ip par le htaccess est ce la solution ?
Ca aura forcement une incidence ? Ne serait ce que sur la lenteur du site. On pourrai même descendre un site en le loodant comme ça non ?
Que dois je faire ? Merci

 

[UsagiYojimbo]

Tu es sûr que cette url n'apparaît pas sur le site, même accidentellement ? Tu as essayé de tester toi aussi Xenu sur le site histoire identifier les 404 ?

 

[Batgo]

Bonjour,

Merci

Oui l'url n existe pas, le premier mot n'existe pas sur le site et c'est là que ca me pose un problème.
Je suis en train de le passer sous xenu mais j ai pas cette url
193.???.197.121 - - [23/Mar/2011:14:14:41 +0100] "GET /wiki/L-oiseau-bateau/Mobilier/Rangements/L-oiseau-bateau/Mobilier/Rangements/index.php?option=com_content&view=article&id=8 HTTP/1.1" 404 29837 "-" "Xenu Link Sleuth/1.

en plus Je ne comprends pas l url..C'est une redondance !
(oui c est du joomla+sh404+jsecure)

 

[UsagiYojimbo]

Attends que Xenu ait terminé de crawler le site avant de dire que tu ne l'a pas (si il est encore en train de tourner). ca ressemble fortement à une url mal construite, qui peut résulter d'un lien erroné dans un contenu.

 

[Batgo]

Oui, je sus en train de le passer.
Mais le mot wiki n'est ni mot utilisé sur le site, ni un dossier, ni une marque, ni un produit.
C'est la première fois que j avais une 404 sur cette adresse.
C'est pour ça que ca m'etonne.

J'ai bien ce mot qui arrive avec xenu!


Ca me bouffe le site, même la home est pas dispo sur le net avec xenu!

 

[Batgo]

Bah , j ai plus qu'à chercher d'où ça vient !
une redirection ou la réécriture qui passe pas .

Apparement la réécriture d'url se fait pas correctement quand le site rame, ca me mets d'autres url via sh

 

[UsagiYojimbo]

Normalement dans Xenu quand il tombe sur une 404 il te donne à partir de quelle page il l'a trouvée.

 

[Batgo]

Euh en regardeant le rapport ou même la liste, je n ai que l'url avec la réécriture.
En verifiant les logs, j ai plusieurs get avant et que des 301.

En plus, il me met en time out une grosse partie. Le serveur phpnet est en réactualisation php 5.3 depuis 3 jours!

Edit, il me rajoute wiki sur chaque url, même non réécrite

 

[UsagiYojimbo]

Click droit sur le lien dans la liste des résultats de Xenu > Link properties

 

[Batgo]

Si j en prends une :
http://www.ndd.com/wiki/index.php?option=com_content&view=article&id=2 ... ot&catid=5

Propriétés :

La page est bien ça:
http://www.ndd.com/wiki/index.php?option=com_content&view=article&id=2 ... ot&catid=5

avec en link :
http://www.ndd.com/wiki/index.php?option=com_content&view=article&id=9
sur un mot 'ici'!!


Ca viendrait, si j en prend plusieurs d'un composant whislist.
Merci !

Donc à partir de là, il me crée des urls qui repartent sur mes liens normaux. :?
Si je pars d'une de ces page, chaque lien est réécrit avec wiki juste devant. Ben oki
Je vois qu'il faut que je trouve le pourquoi et comment. (redirect).


Une question quand même:
Si je suis sur une de ces pages, sh404 fais son taff en réécrivant correctement les urls, sans le wiki devant.
Comment alors il peut trouver des urls avec ce mot ?

 

[Leonick]

Ca me bouffe le site, même la home est pas dispo sur le net avec xenu!

réduits la vitesse de crawl, dans les options, en mettant thread parallel à 1

 

[Batgo]

Merci

Faut connaitre un peu plus le logiciel. :wink:
J ai trouvé le pb, un composant de réécriture qui marchait pas bien.
La réécriture des urls via une vieille version mettait un peu la souk.