Googlebot erreur 500 alors que MSNBot indexe

MGA · 17 Août 2006

Bonjour à tous,

J'ai un petit problème, j'ai crée un sitemap pour Google, toutes les adresses dans ce sitemap sont bonnes mais Google me dit que le robot n'est pas parvenu à indexer mes pages dû à une erreur 500 ( interne au serveur ) ?!

MSNBot, AOL etc. indexent sans soucis mes pages, mais googlebot n'arrive pas à y accéder...

Je précise que je n'ai pas de .htaccess bloquant l'accès au googlebot...
Le site est développé en ASPx, hébergé par Webindustrie

Quelqu'un a rencontré ce problème ? D'où peut il venir ? Quelles solutions y a t'il svp ?

Merci d'avance

Roms6 · 17 Août 2006

Tu pourrais nous donner l'adresse du site peut-être ?

theJB · 17 Août 2006

google va trop vite pour ton serveur

Sir Dipp · 17 Août 2006

Je crois que cet article d'un grand secour

A+

MGA · 21 Août 2006

Salut à tous,

L'adresse du site est www.partnerjouet.com

Merci pour l'URL Sir Dipp, je le transfert de ce pas au prestataire qui a développé le site.

J'espère que ça vient vraiment de ça, car ne pas être référencé sur Google... 8O ça craint !

MGA · 28 Août 2006

Bonjour tout le monde,

Bon, mon problème n'avance pas...
D'après le prestataire qui a crée le site, celà ne viendrait pas du bug sur le développement en ASP...
Il dit que c'est Google qui craque...

Est-ce possible ?

Google sitemap me dit toujours qu'il n'arrive pas à accéder à ma page d'accueil en raison d'une erreur de type inconnu, et tout le reste de mon plan sitemap, ce sont des erreurs 500...

Je craque

Aidez moi svp

Szarah · 28 Août 2006

MGA a dit:
Il dit que c'est Google qui craque...

Le valideur du W3C craque aussi :
-http://validator.w3.org/check?uri=http%3A%2F%2Fwww.partnerjouet.com%2F

A signaler à ton développeur.

Sir Dipp · 28 Août 2006

Szarah a dit:
MGA a dit:

Il dit que c'est Google qui craque...

Cliquez pour agrandir...

Le valideur du W3C craque aussi :
-http://validator.w3.org/check?uri=http%3A%2F%2Fwww.partnerjouet.com%2F

A signaler à ton développeur.

Je vois pas en quoi cela vient aide le problème sur l'erreur 500.

Sinon MGA, je suis désolé, mais tu vas devoir insister sur ton prestataire concernant cette erreur, soit il a pas bien lu l'article soit il a pas envie d'apporter la correction qui est très rébarbative je l'avoue.

Szarah · 28 Août 2006

Sir Dipp a dit:
Je vois pas en quoi cela vient aide le problème sur l'erreur 500.

En rien puisque la 500 c'est le bug que tu as signalé.
Mais c'est aussi une erreur de dev et tant qu'on y est ...
Et son développeur en fera sans doute pareil que pour ton intervention : rien.

MGA a dit:
D'après le prestataire qui a crée le site, celà ne viendrait pas du bug sur le développement en ASP...

MGA · 28 Août 2006

Merci à vous deux,
J'ai envoyé un mail au chef de projet qui le transmettra au développeur...

J'attends sa réponse avec impatience, mais à mon avis, il va me dire qu'il n'y a pas de bug, que la correction est tout autant inutile que ma demande d'URL Rewriting...... Puisque, d'après lui, Google ne prend en compte QUE le contenu de la page.. lol :lol:

Bref, je vous tiendrais au courant, même si ça ne changera pas grand chose :?

Szarah · 28 Août 2006

MGA a dit:
Puisque, d'après lui, Google ne prend en compte QUE le contenu de la page.. lol :lol:

Tu l'as vu, le contenu ?
-http://www.spider-simulator.com/cgi-bin/simulator.cgi?url=http%3A%2F%2Fwww.partnerjouet.com%2F&redirect_follow=1

MGA · 28 Août 2006

Pour commencer, le codage de la page qui ne prend pas en compte les accents :/ ...

Ensuite, on voit le menu et l'admin dans le contenu, moué...

Je suis désespéré...

Szarah · 28 Août 2006

Attention : je joue pour entrer dans Les citations de WRI :

Le bug, parfois, c'est le développeur.

MGA · 28 Août 2006

Szarah a dit:
Attention : je joue pour entrer dans Les citations de WRI :

Le bug, parfois, c'est le développeur.

:lol: :lol: C'est tellement vrai...

En tout cas, je n'ai toujours pas de nouvelles, s'il ne me répond pas avant 14h, je vais lui passer un petit coup de fil

MGA · 28 Août 2006

Réponse du prestataire :

" On ne voit vraiment pas de quoi ça peut venir mais on regarde, en tout cas, le bug du dev en .net n'a rien a voir car on n'a pas d'url rewriting sur le site.
Par contre, concernant la validation W3C, on n'en tiens pas compte car y'a qu'un seul site valide en W3C, c'est le leur "

Bref...

MGA · 29 Août 2006

Personne ne voit de quoi celà peut venir alors svp ?

Nix · 13 Septembre 2006

Si cela ne vient pas du pb de rewriting mentionné sur mon blog, alors c'est que le problème se trouve au niveau du code, tu ne joues pas avec les UserAgent (BrowserCap) dans ton code ? Le truc que j'entre-voits c'est que tu as une erreur non catchée dans ton code lors d'une manipulation avec le UserAgent et quand google passe avec sa signature => boom !

Je viens de tester avec :
User-Agent: Mozilla/2.0
Host: www.partnerjouet.com

et là boom ca claque une erreur 500 (Ca fait la même avec le pb de rewriting pour cette signature), donc ton pb est lié au UserAgent qui vient prendre la page. Et mon petit doigt me dit que cela doit planter pour bon nombre de UserAgent. (Comme celui de KonKeror par exemple). Si le bot du W3C plante aussi, cela confirme le pb du UserAgent car la signature de leur bot fait génère aussi une erreur 500.

Bref t'as un pb c'est sur mais te dire où exactement, il n'y a que toi qui peut le voir/savoir

Bref regarde du côté de ton code
(Je ne vois pas de rewriting, donc effectivement le bug du rewriting ne doit pas être directement impliqué)

keroin · 13 Septembre 2006

MGA a dit:
" On ne voit vraiment pas de quoi ça peut venir mais on regarde, en tout cas, le bug du dev en .net n'a rien a voir car on n'a pas d'url rewriting sur le site.
Par contre, concernant la validation W3C, on n'en tiens pas compte car y'a qu'un seul site valide en W3C, c'est le leur "

Bref...

Lol, il fait comme moi quand je comprend rien à un code....je regarde :lol:
La vache il est vraiment pas très sérieux ce dév :roll: dire qu'il est payé pour te répondre des conneries pareils :roll:
Sinon, la réponse de Nix au-dessus me paraît très pertinente même si je ne suis pas une référence en la matière :lol: ...il y aurait pas un fichier robot.txt mal fait quelquepart par hasard ???

Edit : Non, bah apparement cet outil (-http://www.yooda.com/outils_referencement/robots_txt.php) me dit qu'il n'y a pas de robot.txt donc on oublie :wink:

Nix · 13 Septembre 2006

Ha c'est pas toi qui dev le site ? (J'avais compris que c'était le hosting que tu ne gérais pas...)
Ton prestataire ne cherche pas plus que ça ?
Cela ne l'inquiete pas que ton site ne puisse pas être référencé ?

Nix · 13 Septembre 2006

pour répondre à keroin, le robots.txt n'aura pas d'influence. Le pb se trouve soit dans .NET 2 soit dans le code.

A mon avis ma bidouille mentionnée dans le post de mon blog que qq'un à mis plus haut devrait corriger ton problème (Même si tu ne fais pas de rewriting, le problème semble vraiment similaire)
Si cela corrige le pb, fais-le nous savoir, ça m'interesse de savoir si le pb n'est pas que dans le rewriting. (Si en plus tu arrives à localiser le pb, je suis prenneur aussi, mais je ne rêve pas, j'avais passé plus d'une semaine à trouver ce bug à l'époque... alors perd pas ton temps si ma bidouille marche tant mieux, sinon, désolé pour toi)

MGA · 13 Septembre 2006

Merci pour vos réponses, quant à moi, j'ai enfin réussi à faire bouger le prestataire, voici sa réponse :

Nous avons investigué sur ce point et avons fini par entrevoir une solution. Le problème ne vient pas de notre code qui lui est « propre» mais d’un bug serveur entre II6 et Windows 2003 qui bloque l’accès à certains robots. C’est pour cela que vous etes bien réféeéncé dans www.live.com ou www.msn.fr et pas dans www.google.fr . Nous avons travaillé au contournement du problème mais devons attendre le passage de googlebot pour vérifier. D’où le délai entre chaque tentative.

Googlesitemap me dira bien si le robot peut passer ou non...

Nix · 13 Septembre 2006

Bon, je ne veux pas mettre du feu sur la poudre mais ce qui est en cause c'est "le code et/ou la config" (Ce n'est pas forcément une erreur de développement, juste un manque de connaissance dans le domaine visiblement.
je viens d'essayer de tester avec ceci :

User-Agent: Mozilla/5.0
Host: www.partnerjouet.com

Et voilà le résultat

<html>
<head>
<title>Cookieless Forms Authentication is not supported for this application.</title>
<style>
body {font-family:"Verdana";font-weight:normal;font-size: .7em;color:black;}
p {font-family:"Verdana";font-weight:normal;color:black;margin-top: -5px}
b {font-family:"Verdana";font-weight:bold;color:black;margin-top: -5px}
H1 { font-family:"Verdana";font-weight:normal;font-size:18pt;color:red }
H2 { font-family:"Verdana";font-weight:normal;font-size:14pt;color:maroon }
pre {font-family:"Lucida Console";font-size: .9em}
.marker {font-weight: bold; color: black;text-decoration: none;}
.version {color: gray;}
.error {margin-bottom: 10px;}
.expandable { text-decoration:underline; font-weight:bold; color:navy; cursor:hand; }
</style>
</head>

<body bgcolor="white">

<span><H1>Server Error in '/' Application.<hr width=100% size=1 color=silver></H1>

<h2> <i>Cookieless Forms Authentication is not supported for this application.</i> </h2></span>

<font face="Arial, Helvetica, Geneva, SunSans-Regular, sans-serif ">

<b> Description: </b>An unhandled exception occurred during the execution of the current web request. Please review the stack trace for more information about the error and where it originated in the code.

<br><br>

<b> Exception Details: </b>System.Exception: Cookieless Forms Authentication is not supported for this application.<br><br>

<b>Source Error:</b> <br><br>

<table width=100% bgcolor="#ffffcc">
<tr>
<td>
<code>

An unhandled exception was generated during the execution of the current web request. Information regarding the origin and location of the exception can be identified using the exception stack trace below.</code>

</td>
</tr>
</table>

<br>

<b>Stack Trace:</b> <br><br>

<table width=100% bgcolor="#ffffcc">
<tr>
<td>
<code><pre>

[Exception: Cookieless Forms Authentication is not supported for this application.]
ASP.global_asax.FormsAuthentication_OnAuthenticate(Object sender, FormsAuthenticationEventArgs args) +273
System.Web.Security.FormsAuthenticationModule.OnAuthenticate(FormsAuthenticationEventArgs e) +60
System.Web.Security.FormsAuthenticationModule.OnEnter(Object source, EventArgs eventArgs) +3396577
System.Web.SyncEventExecutionStep.System.Web.HttpApplication.IExecutionStep.Execute() +92
System.Web.HttpApplication.ExecuteStep(IExecutionStep step, Boolean& completedSynchronously) +64
</pre></code>

</td>
</tr>
</table>

<br>

<hr width=100% size=1 color=silver>

<b>Version Information:</b> Microsoft .NET Framework Version:2.0.50727.42; ASP.NET Version:2.0.50727.42

</font>

</body>
</html>

Je n'avais pas bien regardé l'erreur générée, mais elle est explicite ! c'est un pb de config. Ton site plante et plantera avec un tas de navigateurs

J'ai testé avec
User-Agent: Mozilla/5.0 (compatible Googlebot/2.1 +https://www.google.com/bot.html)
Host: www.partnerjouet.com
Et effectivement cela ne plante plus mais ton problème est loin d'être réglé...
Enfin bon tu seras indéxé dans google c'est déjà ça de gagné

P.S : Si tu ne comprends pas le contenu de l'erreur, voici l'explication courte et rapide : Un utilisateur qui aurait un navigateur n'acceptant pas les cookies se tape une page d'erreur. (je ne peux pas faire plus court comme explication)

P.S2 : <humour>Je met la facture à quel nom ?

</humour>

MGA · 13 Septembre 2006

Super, merci Nix

Je vais faire passer le message !

Pour la facturation, heu... lol... On va dire que j'ai participé à ta paye à l'époque d'echo wanadoo/voila

si Masure te dit quelque chose...

MGA · 13 Septembre 2006

Une petite question...
Avec quoi tu fais tous ces tests stp ?

Nix · 15 Septembre 2006

J'ai fait le test avec un petit soft gratuit "Fiddler"
http://www.fiddlertool.com
Il suffit de mettre le header dans l'onglet "Request Builder" et tu vois le résultat

(Désolé "Masure" ne me rappel rien mais si tu remets dans le context je me souviendrai surement ;-))

Bonne chance pour faire référencer ton site correctement dans google, je pense que ton pb devrait se régler maintenant