Mon site est bloqué par le fichier robots.txt

[mafate05]

Bonjour,

Site: https://www.aetnature.com

Le site est bloqué par le fichier robots TXT dont voici le rapport

Quelles opérations dois-je faire pour soumettre à google le fichier que j’aurai modifié via le FTP

merci pour votre aide

michel rostagni

User-agent: *
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-content/upgrade
Disallow: /wp-content/themes_backup
Disallow: /mentions-legales
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-comments
Disallow: /cgi-bin
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /comment-page
Disallow: /replytocom=
Disallow: /author
Disallow: /?author=
Disallow: /tag
Disallow: /?feed=
Disallow: /?s=
Disallow: /?se=

Disallow: /
Noindex: /

 

[teralgo]

admin wordpress reglages ==> lecture + décocher demander aux moteur de ne pas indexer ce site

 

[mafate05]

admin wordpress reglages ==> lecture + décocher demander aux moteur de ne pas indexer ce site

Merci j'ai bien décocher "de ne pas indexer le site"

 

[UsagiYojimbo]

Bein là, c'est bon. Tu peux a minima forcer la mise à jour du robots.txt côté Google Search Console.

 

[Kiwit]

Il faut supprimer les deux dernières lignes de ton robots.txt :

Disallow: /
Noindex: /

C'est ce qui bloque l'accès à ton site !

 

[teralgo]

Il faut supprimer les deux dernières lignes de ton robots.txt :

Disallow: /
Noindex: /

C'est ce qui bloque l'accès à ton site !

oui mais c'est du wordpress alors pourquoi éditer a la mano

 

[CAMEO172]

oui mais c'est du wordpress alors pourquoi éditer a la mano

Je retourne la question : être sous WordPress n’exclue pas quelques compétences techniques ! Et éditer un misérable fichier txt ce n’est pas la fin du monde.

Sous WordPress, j’ai même tendance à croire qu’il faut un maximum garder la main pour éviter certains pièges

 

[Johanwri]

c'est du wordpress alors pourquoi éditer a la mano

Le fichier robots WP par defaut est rudimentaire ; il est possible de l'editer pour optimiser.
Tu semble avoir editer a la main le fichier.
Exemple la page /mentions-legales en disallow, generalement on utiliserait plutot un plugin SEO pour la mettre en noindex plutot que l'inclure dans le fichier robots
Pour cela tu peux utiliser le plugin All in One SEO pack ou Yoast qui permette de mettre des pages en noindex

Quel plugin SEO tu utilise ?

 

[teralgo]

Je retourne la question : être sous WordPress n’exclue pas quelques compétences techniques ! Et éditer un misérable fichier txt ce n’est pas la fin du monde.

Sous WordPress, j’ai même tendance à croire qu’il faut un maximum garder la main pour éviter certains pièges

sérieusement wordpress je ne touche rien je met a jour et je publie pourtant je code..... avec son code en spaghetti wordpress demande de grosses compétences je pense..... regardez le nombre de fichiers de ce cms et le merdier interne...... les plugins..... les mises a jour.... la compatibilité entre versions

décoche la case

 

[CAMEO172]

je ne suis pas un dieu, la programmation n'est pas mon métier et pourtant je maîtrise 100% du code de mon thème. je fais même mon sitemap sans plugin, par quelques lignes dans fonction.php.
mes pages noindex sont définies par mes propres règles sans le moindre plugin. je gère aussi (surement mal certains diront) mon SEO sans plugin.
Pire, je n'utilise que 3 plugins sur mon site : un système de cache, un système de gallerie et un système de formulaire. Tout le reste c'est à la mano. depuis 3 mois j'expérimente le fait de ne pas avoir d'anti spam et pour le moment ça passe : juste 3 commentaires à ne pas valider dans ce laps de temps.

et pour rester sur la question de ce sujet, j'ai fais le choix de ne pas avoir la moindre ligne de commande dans mon fichier robot.txt. j'y précise juste la localisation de mon propre fichier sitemap. J'estime que google et compagnies savent tout seul ce qu'ils ont a faire sur mon site, et l'indexation tente à prouver que je n'ai pas tord.

 

[spout]

+1 @CAMEO172 , mes robots.txt se composent ainsi:

 

[Johanwri]

je maîtrise 100% du code de mon thème.

Si tu developpe ta propre template et que c'est fait proprement ca peut eviter l'indexation de page que tu ne souhaite pas.
La realite est que beaucopu de WP sont fait avec des templates achetees.

Un exemple concret avec la template ENFOLD, qui est une des template les plus vendues sur Themeforest ; Google indexe des URL contenant ?name, le fichier robots dans ce cas est necessaire pour sortir ces URL.

Autre exemple avec Woocommerce, des URL avec ?order ou ?filter sont indexees, le robots permet de corriger ce probleme

J'estime que google et compagnies savent tout seul ce qu'ils ont a faire sur mon site, et l'indexation tente à prouver que je n'ai pas tord.

Dans ton cas particulier avec ta template, ta configuration etc ... probablement mais chaque WP est different, pas la meme template, simple site vitrine, blog ou e-commerce etc...
Je pense qu'avec Woocommerce le robots est important a cause des pages ?order et ?filter

Dans le cas de @mafate05 le probleme est un "abus" d'utilisation du fichier robots.
xmlrpc.php n'a pas sa place dans le fichier robots ; il a du y etre inclu pour bloquer l'acces au fichier par securite (juste une supposition) mais ce n'est pas la fonction du fichier robots.
mafate05 pourra preciser la demarche pourquoi inclure ce fichier dans le robots.

L'ideal dans son cas est de revenir a un fichier robots vierge, le temps que Google indexe de nouveau le site.
Et seulement une fois l'indexation faite, voire si des pages sont necessaires a etre sorties (?se= si pas indexe pas besoin d'etre dans le fichier robots)