Absence robots.txt et 404 personnalisée

[u8086]

Bonjour;

Je viens de reprérer le passage du crawler de Yahoo sur mon site dans mes logs. Il n'a demandé que le robots.txt qui n'existe pas et la page 404 personnalisée.
Je viens de tester -monsite.com/robots.txt- et on arrive effectivement sur ma 404 personnalisée.

Est-ce une erreur pénalisante ?

 

[Pouzy]

IL vaut mieux en mettre un Disallow rien du tout, je ne sais pas, mais tu peux disallower une petite page qui ne sert a rien ( généralement, il y a en a toujours

 

[u8086]

Je viens d'en mettre un avec :

User-agent:  *

Ca suffit, non ?


Ma question était plutôt : Est-ce une chausse-trappe réelle et/ou connue ?

 

[Photoshop user]

Même question que le Mr.

 

[rituel]

Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

 

[Birdman]

Et avec un robots.txt vide, ça autorise Googel et les autres à vister tout le site, non ?
Enfin, moi j'en ai mis un, c'est juste pour éviter les erreurs 404...

 

[Photoshop user]

Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

Je flip pas Mr le Jolien :wink:
'Juste je voulais savoir la réponse et m'abonner au sujet c'est tout :wink:

 

[rituel]

Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

Je flip pas Mr le Jolien :wink:
'Juste je voulais savoir la réponse et m'abonner au sujet c'est tout :wink:

Mince je suis demasqué :lol:

 

[u8086]

Arrêtez de flipper, si vous saviez le nombre de sites qui n'ont pas de robots.txt (Le mien compris)

D'accord, mais que ce passe-t-il quand le bot demandant le robots.txt tombe sur une page 404 ??
Comment l'interprète-t-il ?

 

[niceunef]

Et avec un robots.txt vide, ça autorise Googel et les autres à vister tout le site, non ?
Enfin, moi j'en ai mis un, c'est juste pour éviter les erreurs 404...

Pareil. En plus, ca ne sert peut-etre a rien (repertoire).

 

[snivel]

Pour ton 404 personalisé tu peu regarder dans outils - > Entête HTTP (Header HTTP)

Si c bien un code 404 -> pas de probléme
Si c un code 200 avec qq chose apres tu peu douter ....

 

[niceunef]

En meme temps, si tu cherche a acceder ta page 404 directement, elle va bien renvoyer un code 200...

 

[u8086]

Pour un appel à une page qui n'existe pas, le serveur renvoi une erreur "302 Found" "document déplacé de façon temporaire"

Pour une page que j'ai déplacé en spécifiant son nouvel emplacement avec un .htaccess, le serveur renvoie une "301 Moved Permanently".

C'est bon non ?

 

[niceunef]

Si tu as dit de renvoyer une 301 dans tel et tel cas, c'est normal qu'il le fasse. Normalement la 301 permet de renvoyer vers une autre page.
Pour la 302 sur d'autres adresses, c'est bizzarre (a moins que tu l'aies spécifié dans le .htacces? en tous cas, il faut donner aussi une URL de destination, et la 302 peut poser des ennuis du moment qu'il y a des liens vers une page en 302)

 

[u8086]

Pour la 302, c'est le résultat de ma 404 personnalisée.

Dans mon .htaccess, j'ai mis :

ErrorDocument 404 http://www.*****.com/_errors/404.html
RedirectPermanent ancienepage.html http://www.domaine.tld/nouvellepage.html