Désindexation sites suite à un problème robot spam

[nsonigo]

Bonjour à tous,

Nos différents sites Wordpress (voir exemples d'URLs ci-dessous) ont été désindexés des résultats Google ces derniers jours. Ce changement est survenu la semaine dernière, le jour-même d'une attaque de robot spam sur l'un de nos sites, ce qui a généré un nombre de requêtes inhabituel sur l'IP de notre serveur.

https://cloudeco.fr
https://cloudeco-recrutement.fr
https://sct-telecom.fr
https://sct-telecom-faq.fr

Nous avons entrepris plusieurs actions pour remédier à ce problème :
- Restauration des sites à une date antérieure à l'attaque
- Re-upload du fichier robots.txt à la racine du serveur pour chaque site
- Vérification de la présence éventuelle de l'IP du serveur hébergeant nos sites sur une blacklist...

Malgré toutes ces actions, nos sites demeurent désindexés et nous ne parvenons pas à inviter google bot à venir examiner à nouveau nos sites ni à consulter les sitemap mises en place, le robot nous renvoie un échec d'accès au serveur...

Merci d'avance pour vos réponses, en espérant trouver une solution à ce problème dans les meilleurs délais grâce à votre aide...!

Bien cordialement,

 

[Johanwri]

https://cloudeco.fr
https://cloudeco-recrutement.fr
https://sct-telecom.fr
https://sct-telecom-faq.fr

Aucun des sites n'est accessible
Message d'erreur : https://prnt.sc/ku0nbp

 

[nsonigo]

Aucun des sites n'est accessible
Message d'erreur : https://prnt.sc/ku0nbp

Bonjour Johanwri,

C'est curieux car je viens de refaire le test de mon côté + de demander l'aide d'une collègue via nos mobiles hors réseau interne de la société, ils sont parfaitement accessibles pour nous...

 

[Madrileño]

Bonjour,

Pareil ici, "connection timed out" pour les 4 liens.

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici, pour aider les autres personnes de la communauté d'entraide.

Temps de réponse : 2 minutes.
Cordialement.

 

[Johanwri]

Nos différents sites Wordpress (voir exemples d'URLs ci-dessous) ont été désindexés des résultats Google ces derniers jours.

Les sites ne sont pas desindexes
https://sct-telecom.fr => http://bit.ly/2NHzjko
https://cloudeco.fr => http://bit.ly/2NdtuMg
https://cloudeco-recrutement.fr => http://bit.ly/2x6Oc6G
https://sct-telecom-faq.fr => http://bit.ly/2MqmeHG

La version www et version non www semble meme indexee

 

[Johanwri]

C'est curieux car je viens de refaire le test de mon côté + de demander l'aide d'une collègue via nos mobiles hors réseau interne de la société, ils sont parfaitement accessibles pour nous...

Videz le cache de vos navigateurs et essayez de vous reconnecter

 

[nsonigo]

Bonjour,

Pareil ici, "connection timed out" pour les 4 liens.

N'hésitez pas à vous présenter au forum : ici et entre deux messages présenter vos avis aussi sur les sujets : ici, pour aider les autres personnes de la communauté d'entraide.

Temps de réponse : 2 minutes.
Cordialement.

Bionjour Madrileño,

Je vais me pencher là dessus alors mais de mon côté, RAS sur ce point...

Bien noté pour la présentation, désolé, je vais m'en occuper rapidement.

Les sites ne sont pas desindexes
https://sct-telecom.fr => http://bit.ly/2NHzjko
https://cloudeco.fr => http://bit.ly/2NdtuMg
https://cloudeco-recrutement.fr => http://bit.ly/2x6Oc6G
https://sct-telecom-faq.fr => http://bit.ly/2MqmeHG

La version www et version non www semble meme indexee

Nous avions plusieurs résultats positionnés en première page depuis des mois, assez logiquement sur des requêtes de pur branding. Aujourd'hui, ces pages ont tout simplement disparu et nous avons plusieurs signaux d'alertes depuis Search Console et Analytics à propos de l'accès au fichier robots.txt ainsi qu'à nos sitemap... Ceci coincidant exactement avec l'attaque spam subie la semaine dernière...

 

[Johanwri]

Nous avions plusieurs résultats positionnés en première page depuis des mois, assez logiquement sur des requêtes de pur branding. Aujourd'hui, ces pages ont tout simplement disparu .

Tu peux donner l'URL de ces pages qui etaient bien postionnees
Il faudrait voir si c'est le positionnement qui a chute ou si la page n'est plus du tout indexee dans Google

 

[nsonigo]

Tu peux donner l'URL de ces pages qui etaient bien postionnees
Il faudrait voir si c'est le positionnement qui a chute ou si la page n'est plus du tout indexee dans Google

Les pages suivantes étaient positionnés en première page :

https://sct-telecom-faq.fr
https://sct-telecom.fr
https://cloudeco.fr
https://cloudeco.fr/societe
https://cloudeco-avis.fr
https://sct-telecom-avis.fr
https://cloudeco-recrutement.fr

Merci à toi pour ton aide !

 

[Johanwri]

Les pages suivantes étaient positionnés en première page :

https://sct-telecom-faq.fr
https://sct-telecom.fr
https://cloudeco.fr
https://cloudeco.fr/societe
https://cloudeco-avis.fr
https://sct-telecom-avis.fr
https://cloudeco-recrutement.fr

Effectivement ces URL semblent desindexees ; c'est la racine du nom de domaine.
Ils restent des URLs de chaque site indexes

Je pense que la premiere etape c'est de retrouver acces a tes sites.
Si nous n'avons pas acces, Google non plus.

Vous voyez vos sites peut etre a cause du cache

 

[WebRankInfo]

un petit tour dans search console s'impose, pour voir si Google a aussi des pb d'accès

 

[nsonigo]

Effectivement ces URL semblent desindexees ; c'est la racine du nom de domaine.
Ils restent des URLs de chaque site indexes

Je pense que la premiere etape c'est de retrouver acces a tes sites.
Si nous n'avons pas acces, Google non plus.

Vous voyez vos sites peut etre a cause du cache

Ce qui est surprenant c'est que je les vois également en navigation privée et/ou depuis un appareil personnel à partir duquel je n'ai jamais été amené à effectuer ce type de requêtes...

"Retrouver accès à tes sites" ==> qu'entends-tu par là ?

un petit tour dans search console s'impose, pour voir si Google a aussi des pb d'accès

Bonjour Admin,

Je suis allé sur Search Console hier après nos actions et encore ce matin à l'instant, mais cela ne semble toujours pas fonctionner... Pourtant nous avons bien un fichier robots.txt à la racine du serveur, nous avons vérifié cela hier à plusieurs reprises mais google bot ne semble pas réussir à y accéder (voir captures ci-dessous)...

 

[Johanwri]

"Retrouver accès à tes sites" ==> qu'entends-tu par là ?

J'entends que je puisse voir les sites en ligne.
Madrileno n'a pas non plus acces ; il faudrait que d'autres membres confirme si ils voient les sites ou pas.

Dans la Search Console, Expoloration > Erreurs d'exploration, que vois tu ?

 

[cthierry]

Je vois tes sites, les 4, même si ils mettent un peu de temps à s'afficher. Et il y a aussi les 4 robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads/

 

[Johanwri]

En envoyant un ping, message d'erreurs :
Unable to connect to the remote server (https://cloudeco.fr)
Unable to connect to the remote server (https://cloudeco-recrutement.fr)
Unable to connect to the remote server (https://sct-telecom.fr)
Unable to connect to the remote server (https://sct-telecom-faq.fr)

 

[nsonigo]

J'entends que je puisse voir les sites en ligne.
Madrileno n'a pas non plus acces ; il faudrait que d'autres membres confirme si ils voient les sites ou pas.

Dans la Search Console, Expoloration > Erreurs d'exploration, que vois tu ?

C'est très surprenant car certains les voient, d'autres pas du tout... Je viens d'aller voir sur Search Console pour la propriété concernant le site sct-telecom.fr, voici ce que je vois :


Encore une fois, j'ai essayé d'envoyer le fichier robots.txt que nous avons bien remis en place à la racine du serveur, mais cela échoue systématiquement.

Je vois tes sites, les 4, même si ils mettent un peu de temps à s'afficher. Et il y a aussi les 4 robots.txt

Bonjour Cthierry,

Les sites sont accessibles sans problème avec les URLs effectivement mais vous les voyez dans les résultats Google ? Si oui, à partir de quelle requête ? Les fichiers robots.txt existent bien effectivement mais nous n'arrivons pas à inviter google bot à venir les examiner de nouveau pour réindexer nos pages...

 

[nsonigo]

En envoyant un ping, message d'erreurs :
Unable to connect to the remote server (https://cloudeco.fr)
Unable to connect to the remote server (https://cloudeco-recrutement.fr)
Unable to connect to the remote server (https://sct-telecom.fr)
Unable to connect to the remote server (https://sct-telecom-faq.fr)

Ok... Mais nous avons fait des contrôles, il n'y a aucun problème a priori sur notre serveur... Est-ce qu'un blocage a pu être mis côté google bot pour ne plus aller consulter les sites qui y sont hébergés ?

 

[spout]

Pas accessible non plus ici.
Les DNS fonctionnent mais pas le ping.

 

[Johanwri]

Encore une fois, j'ai essayé d'envoyer le fichier robots.txt que nous avons bien remis en place à la racine du serveur, mais cela échoue systématiquement.

Il faut resoudre ce probleme

Pistes
1 - Quels sont les droits sur ton fichier robots.tx ?
2 - Ou est ce que ton serveur est herbege ?
3 - As tu un parefeu ?

 

[Johanwri]

Autre piste, anomalie du mod security du serveur Apache
un probleme proche https://www.webrankinfo.com/forum/t/resolu-erreur-google-impossible-datteindre-robots-txt.101393/

 

[nsonigo]

Pas accessible non plus ici.
Les DNS fonctionnent mais pas le ping.

Bonjour Spout merci pour ta réponse mais du coup, qu'est-ce que cela signifie ?

Il faut resoudre ce probleme

Pistes
1 - Quels sont les droits sur ton fichier robots.tx ?
2 - Ou est ce que ton serveur est herbege ?
3 - As tu un parefeu ?

1- la question concerne les pages autorisées / non autorisées pour le robot google dans le fichier robots.txt ?
2- serveur mutualisé
3- oui, ça a également été contrôlé chez nous pour voir si le problème venait d'un blocage à ce niveau là, RAS a priori

Autre piste, anomalie du mod security du serveur Apache
un probleme proche https://www.webrankinfo.com/forum/t/resolu-erreur-google-impossible-datteindre-robots-txt.101393/

Merci mais là encore, je ne comprends pas ce que cela signifie concrètement et comment on peut vérifier cela ?

 

[spout]

Bonjour Spout merci pour ta réponse mais du coup, qu'est-ce que cela signifie ?

De notre côté, pas facile de déterminer le problème.

 

[Johanwri]

1- la question concerne les pages autorisées / non autorisées pour le robot google dans le fichier robots.txt ?

Non les permissions sur le fichier robots.txt au niveau du serveur
Copie ecran : https://prnt.sc/kua653

Meme si ca n'expliquerai pas pourquoi je ne peux pas voir les sites..
Comme dit spout c'est pas facile pour nous de determiner le probleme ; j'essaie juste d'imaginer d'ou peut venir le probleme et proposer des pistes, bonnes ou mauvaises

3- oui, ça a également été contrôlé chez nous pour voir si le problème venait d'un blocage à ce niveau là, RAS a priori

Est ce que la configuration de votre serveur a ete modifee apres l'attaque ?

Tu as essaye de redemarrer le serveur ?

Dans la search console, est ce que tu peux essayer de soumettre de nouveau le sitemap de ton site et voir si il te donnent un message d'erreur.

 

[nsonigo]

Non les permissions sur le fichier robots.txt au niveau du serveur
Copie ecran : https://prnt.sc/kua653

Je viens de regarder, voici les droits que nous avons sur le robots.txt, ce sont les mêmes que ceux qui sont indiqués sur ta copie d'écran...

Meme si ca n'expliquerai pas pourquoi je ne peux pas voir les sites..
Comme dit spout c'est pas facile pour nous de determiner le probleme ; j'essaie juste d'imaginer d'ou peut venir le probleme et proposer des pistes, bonnes ou mauvaises

Est ce que la configuration de votre serveur a ete modifee apres l'attaque ? Tu as essaye de redemarrer le serveur ?

==> Pas à ma connaissance non ; nous avons simplement levé des blocages que nous avions mis suite à l'attaque spam et procédé à la restauration de nos sites. Le redémarrage du serveur n'a pas été fait par contre.

Dans la search console, est ce que tu peux essayer de soumettre de nouveau le sitemap de ton site et voir si il te donnent un message d'erreur.

==> Je l'ai fait pour plusieurs de nos sites, la Search Console me renvoie un message d'erreur indiquant qu'il est impossible de récupérer le sitemap :

 

[Johanwri]

Le redémarrage du serveur n'a pas été fait par contre.

Ca vaut le coup de le faire

==> Je l'ai fait pour plusieurs de nos sites, la Search Console me renvoie un message d'erreur indiquant qu'il est impossible de récupérer le sitemap :

Donc le probleme n'est pas uniquement sur un acces au fichier robots mais aussi le sitemap

La copie ecran que tu as donne tout a l'heure n'indique pas de probleme de connection au serveur , tu confirme ?

 

[nsonigo]

Ca vaut le coup de le faire

Ok je vois ça en espérant que cela puisse fonctionner...!

Donc le probleme n'est pas uniquement sur un acces au fichier robots mais aussi le sitemap
La copie ecran que tu as donne tout a l'heure n'indique pas de probleme de connection au serveur , tu confirme ?

Non, les messages d'erreur reçus sont ceux figurant dans les captures d'écran déposées ici... Aucun autre message concernant la connexion au serveur

 

[Johanwri]

Est ce que tu utilise un CDN ? Amazon CloudFront ?
Ca pourrait expliquer que certaines personnes peuvent acceder au site et d'autres non
Et les problemes d'acces au fichiers pourraient etre lie au CDN

Copie ecran : https://prnt.sc/kubxdr

Tu es sur 2 blacklist apparement

 

[nsonigo]

Est ce que tu utilise un CDN ? Amazon CloudFront ?
Ca pourrait expliquer que certaines personnes peuvent acceder au site et d'autres non
Et les problemes d'acces au fichiers pourraient etre lie au CDN

Copie ecran : https://prnt.sc/kubxdr

Tu es sur 2 blacklist apparement

Nous n'utilisons pas de CDN donc je ne pense pas que ce soit la solution...

 

[Madrileño]

Bonjour,

Tests des sites en version fr :
sct-telecom-faq
sct-telecom
cloudeco
cloudeco-avis
sct-telecom-avis
cloudeco-recrutement

Réponses :
5 outils en lignes + navigateurs = "connection timed out".

Temps de réponse : 10 minutes.
Cordialement.

 

[spout]

C'est ballot pour une société de télécom

 

[nsonigo]

Bonjour,

Tests des sites en version fr :
sct-telecom-faq
sct-telecom
cloudeco
cloudeco-avis
sct-telecom-avis
cloudeco-recrutement

Réponses :
5 outils en lignes + navigateurs = "connection timed out".

Temps de réponse : 10 minutes.
Cordialement.

Madrileño,

Est-ce que cela peut expliquer seul l'origine du problème ? Personnellement nous avons refait les tests de notre côté sur différents outils en ligne et navigateurs, et nous ne sommes pas confrontés au problème donc cela me semble trop aléatoire pour être la cause du souci...?

 

[Madrileño]

Bonjour,

Page Speed (Google) affiche aussi :

Délai avant expiration dépassé lors de la connexion à sct-telecom[...]. Assurez-vous que la page est accessible à partir de l'Internet public.

Si les sites sont inaccessibles (et ce n'est pas aléatoire, puisque c'est avec tous les tests) c'est un problème (Nombreux outils avec la même erreur, outils de Google, tests avec IP différentes qui affichent toujours la même erreur.).

Temps de réponse : 10 minutes.
Cordialement.