GoogleBot se trompe de serveur ?

[jeanluc]

Bonjour,

En examinant mes logs, je viens de constater que, sur un de mes sites, pas mal d'erreurs 404 sont provoquées par des visites de GoogleBot qui recherche sur mon site des fichiers qui se trouvent sur d'autres sites du même hébergeur (sur le même serveur mutualisé).

GoogleBot est-il à la recherche de "duplicate contents" ou y a-t-il un problème chez l'hébergeur (mais je n'en ai pas l'impression) ? Autre explication ?

Jean-Luc

 

[DISCRET]

avec un fichier robot.txt, ça avait corrigé le problème chez moi.

 

[jeanluc]

avec un fichier robot.txt, ça avait corrigé le problème chez moi.

Que veux-tu dire ? Quel genre de commandes as-tu mises dans le robots.txt ?

Jean-Luc

 

[DISCRET]

au départ je l'avais laissé vide à la base du site ( juste un fichier vide nommé robots.txt avec un S robots) ce qui est suffisant. Par la suite j'ai rajouté d'autre chose pour interdire certaine page.

 

[jeanluc]

Merci DISCRET. Ok. Maintenant je comprends ce que tu voulais dire.


J'aimerais surtout savoir si quelqu'un sait ce que GoogleBot essaie de faire :

En examinant mes logs, je viens de constater que, sur un de mes sites, pas mal d'erreurs 404 sont provoquées par des visites de GoogleBot qui recherche sur mon site des fichiers qui se trouvent sur d'autres sites du même hébergeur (sur le même serveur mutualisé).

Exemple fictif:
- mon-site.com, autre-site1.com, autre-site2.com,... sont hébergés à la même adresse IP.
- GoogleBot demande http://mon-site.com/photo.html qui n'existe pas, mais http://autre-site1.com/photo.html existe.
- GoogleBot demande aussi http://mon-site.com/repertoire/musique.php qui n'existe pas non plus, mais http://autre-site2.com/repertoire/musique.php existe.
- etc.

Avez-vous déjà observé ce phénomène ?

Jean-Luc

 

[DISCRET]

non je ne connais pas ça.
Moi c'était simplement l'absence de ce fichier qui me créait cette erreur. Là ça a l'air un peu plus complexe pour moi
Juste comme ça par pur hasard n'aurais-tu pas des liens mal formés qui pourraient rediriger vers cette adresse ?