Robots.txt non récupéré - Erreur serveur (5xx)

[JSS]

Bonjour tout le monde,

Mon site a près de 10 ans et est très bien référencé par Google. Mardi, je me suis rendu compte que Google n'avait pas indexé mon article publié la veille. D'ordinaire, il indexe mon contenu très rapidement. Aujourd'hui, en me rendant dans la search console, dans paramètres -> robots.txt j'ai découvert cette erreur : Non récupéré – Erreur serveur (5xx). Pourtant, en me rendant sur l'url le fichier est accessible. J'ai réalisé des tests curl, à chaque fois j'ai une réponse 200. En creusant, j'ai réalisé que Google n'accédait plus à mes pages.

En effet, en prenant une page indexée, en cliquant Test en ligne, j'obtiens cette erreur :

La page ne peut pas être indexée : Indisponible en raison d'un problème affectant tout le site
Échec : Impossible d'atteindre Robots.txt

J'ai tout essayé, j'ai checké les logs dans OVH, mon hébergeur et rien.

Une chose étrange, c'est que tous les sous domaines ont le même soucis, sauf ceux hébergés ailleurs.

Je joins l'image des statistiques d'exploration qui tombent à zéro à partir le 12 février.

Avez-vous déjà eu un soucis similaire ?

 

[pomination]

Bonjour,
Si ça fonctionne ailleurs, peut être un ticket support à ouvrir chez OVH ?
Auraient-ils mis un filtre sur le bot Google par erreur ?

En plus quelqu'un d'autre a une erreur similaire, héberge également chez OVH : https://www.webrankinfo.com/forum/t/echec-impossible-datteindre-robots-txt-depuis-ce-matin.202681/

 

[mickmac38]

Ha oui j'ai exactement le même soucis. Je m'en suis rendu compte ce matin et a savoir cela fonctionnait sans soucis lundi.
Hébergé chez OVH aussi et je n'ai rien touché de particulier sur ces deux jours...

 

[pomination]

OVH a déjà eu des précédents, par le passé, sur le blocage du crawler Google.
Pour ça que je pense qu'un ticket chez eux n'est pas inutile...

 

[JSS]

Merci pour vos réponses, je me sens moins seul! J'ai découvert la situation hier mais en creusant je me rends compte que l'exploration stoppe depuis le 13 février. Pareil lorsque je teste des url en ligne via search console, parfois cela me met que la page est inacessible à cause d'une erreur globale sur le site et depuis ce matin c'est accessible. Incompréhensible...

 

[SSX]

Idem pour moi chez OVH.... Voici nos stats sur 1 an dans GSC :



Depuis le 25 février je n'ai que des erreurs 5xx sur GSC et plus aucune page n'apparaît dans les résultats Google à part de très vieilles pages obsolètes.
Si j'essaie d'ajouter un sitemap, GSC me dit impossible en me renvoyant une erreur HTTP 429 "too many requests".

Dans les logs côté OVH il y a en effet des blocages avec erreurs 429 sur les robots Google (et je viens de m'en rendre compte, aussi sur les robots bing, apple, et meta...) :

[28/Feb/2025:06:02:35 +0100] "GET /robots.txt HTTP/1.1" 429 130 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Les fameuses erreurs 5xx indiquées par GSC n'apparaissent pas dans les logs.

Notre conf n'a pas changée. J'ai tout vérifié quand même : pas de blocage htaccess, pas de firewall activé sur le domaine, pas de dépassement de ressources...

J'ai fait un ticket chez OVH qui me répond que si j'effectue trop de requêtes sur un hébergement mutualisé, l'IP sera bloquée en général une heure, sauf si les requêtes continuent alors là le temps de blocage sera rallongé. Ca ne m'aide pas beaucoup, ça fait 4 jours qu'il n'y a plus aucun référencement parce que le robot Google n'a accès à rien, et que notre site a massivement chuté dans les résultats Google voire complètement disparu. Tout cela n'était pas bloqué avant... C'est inquiétant. Naturellement je suis preneur si quelqu'un a une solution, et je partagerai si jamais je trouve quelque chose...

A suivre......

 

[JSS]

Merci beaucoup pour ce retour. En observant les logs j'a trouvé cette erreur :

H00124: Request exceeded the limit of 10 internal redirects due to probable configuration error. Use 'LimitInternalRecursion' to increase the limit if necessary.

Il s'avère que j'i fait des changements dans mon htaccess il y a quelques jours. J'avais rétabli une ancienne version mais le serveur devait garder en cache car notre directeur technique a supprimé et republié depuis OVH et là plus d'erreur 503 et le robots.txt est de nouveau indexable. Par contre cela n'explique pas je pense la chute. Donc à surveiller.