Comportement de google face aux erreurs 404, bizarre !

[troops]

Bonsoir,

Ce soir je me suis fait un script qui m'envoie un email à chaque fois qu'un utilisateur "provoque" une erreur 404 et me donne le fichier incriminé, voici ce que le mail m'envoie :

Ca c moi qui est provoqué cette erreur à 18 heures 41

Adresse IP du client ayant fait la demande : 80.14.108.35
Page demander ayant provoqué une erreur 404 : http://www.monsite.com/fsdfsd.php

Requete HTTP du client

Accept: */* 
Accept-Encoding: gzip, deflate 
Accept-Language: fr 
Connection: Keep-Alive 
Cookie: phpbb2mysql_data=a%3A2%3A%7Bs%3A11%3A%22autologinid%22%3Bs%3A32%3A%22a7a75cc8b9a05aa9da347aae4034dea7%22%3Bs%3A6%3A%22userid%22%3Bi%3A2%3B%7D; PHPSESSID=79e458b86edc6ffdfa918d13fc7eddba 
Host: www.monsite.com 
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)

Et voici ce qu'il c passé a 18 heures 42 !!!

Adresse IP du client ayant fait la demande : 64.68.87.69
Page demander ayant provoqué une erreur 404 : http://www.monsite.com/fsdfsd.php

Requete HTTP du client

Accept: text/html,text/plain 
From: googlebot(at)googlebot.com 
Host: www.monsite.com 
User-Agent: Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)

Mais peut être que la google toolbar y est pour quelque chose ?

 

[JPC]

lol, je viens d'avoir exactement la même chose avec alexa...
Faut vraiment penser à virer les barres avant de faire ce genre de tests...

 

[troops]

Oué c bizarre quand même

 

[Kmacleod]

lol, je viens d'avoir exactement la même chose avec alexa...
Faut vraiment penser à virer les barres avant de faire ce genre de tests...

Si c'est le visiteur qui provoque l'erreur 404, la toolbar y sera ... peut-etre.
Par contre mieux vaut alors tester l'agent, si c'est Mediapartner => pas de mail.

Mais dans le cas d'une erreur,
est-ce une autre page qui s'affiche et celle si à des adsenses ?
ou bien mediapartner surveille t'il a partir des pages ou il y a des adsenses (ce qui signifie que la navigation est suivie de près par le script adsense)

 

[JPC]

dans mon cas, il n'y avait pas d'adsense,
mais ce n'est pas google qui est passé sur la page en question mais alexa...
qui lui surveille assez etroitement les url visitées...

 

[George Abitbol]

Ben je ne vois pas ce qu'il y a d'étrange dans le cas de troops, le robot d'AdSense vient crawler toutes les pages qui font un appel à AdSense... Il suffit de ne pas afficher les tags lorsqu'il s'agit d'une 404 ou autre page du même genre.

Fred

 

[troops]

ah oké