Résultats
http://www.pyrenees-autrement.com/canyon/canyoning-dans-les-pyrenees.html renvoie un code 429
Voici le contenu des entêtes HTTP renvoyés par le serveur pour l'URL rappelée ci-dessous :
http://www.pyrenees-autrement.com/canyon/canyoning-dans-les-pyrenees.html
URL : http://www.pyrenees-autrement.com/canyon/canyoning-dans-les-pyrenees.html CODE HTTP : 429 HEADERS : GET /canyon/canyoning-dans-les-pyrenees.html HTTP/1.1 Host: www.pyrenees-autrement.com User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) X-Middleton/1 Accept-Encoding: gzip,deflate Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5 Accept-Language: fr-fr,fr;q=0.7,en-us;q=0.5,en;q=0.3 Keep-Alive: 300
Une autre analyse ?
Définir le nom d'agent (UserAgent) permet de faire des tests pour voir si l'URL répond différemment selon le type de visiteur (par exemple pour faire la différence entre un internaute ou un robot de moteur de recherche, ou bien pour détecter un utilisateur d'appareil mobile). Dans certains cas il est indispensable de fournir un nom d'agent, sinon la ressource n'est pas accessible.
Codes HTTP (200, 301, 302, 404, 410, etc.)
Remarque : la liste des codes HTTP est expliquée dans la FAQ de ce site.
Rappel : les principaux outils
Voici les outils les plus souvent utilisés pour travailler son référencement :