Résolu Toutes les URL bloquées par le fichier robots.txt

[kimaya49]

Bonjour

Je viens de mettre en ligne un site réalisé avec Wordpress avec seulement 3 pages d'accueil pour le moment (FR/EN/ES).

Je l'ai ensuite soumis à l'indexation Google via Goolge search console et j'ai ce message d'erreur :
Le sitemap contient des URL qui sont bloquées par le fichier robots.txt. En fait les 6 URL (avec et sans www) sont bloquées si j'en crois ce que je vois.

Le contenu du fichier robot.txt :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Pourtant quand je vais dans la partie "outils de test du fichier robots.txt" aucune erreur ou avertissement n'est affiché et quand je teste les deux seules pages que je peux tester (ES et EN vu que le nom de domaine est déjà renseigné) ça me met "autorisée" comme résultat...

Alors ai-je un problème ou pas ? Je suis un peu perdue...

Merci d'avance pour votre aide
Karine

 

[UsagiYojimbo]

Avec l'url ce serait plus simple...

 

[kimaya49]

Bonjour UsagiYojimbo


J'oubliais de préciser que quand je fais une recherche sur google avec l'url de mon site j'ai ce message : Aucune information n'est disponible pour cette page

 

[UsagiYojimbo]

Ca sent le site dont la version de dev pré-prod a été faite de manière ouverte : Google garde en mémoire une ancienne version du robots.txt.

Il te dit quelles url posent souci ?

Il faut a minima une redirection pour empêcher l'indexation en double de www / sans www.

Et un nouveau site en http ? Pas de https ?

 

[kimaya49]

J'ai développé en ligne avec un accès par mot de passe et la case Ne pas indexer cochée.

Le site sera en https par la suite mais en attendant d'être prêts on économise un peu...

Concernant les URL les 6 posent problème à priori.

 

[kimaya49]

C'est une erreur d'attendre pour le https en terme de référencement ?

 

[cthierry]

Ben, c'est surtout que cela va être pénalisant par google dans quelques mois, à partir de juillet 2018, Google Chrome marquera les sites HTTP comme « non sécurisés ».

De plus c'est ballot de devoir tout changer en cours de route alors que tu as le choix de le faire dès le départ. Et il faut aussi penser aux liens externe.

Et coté budget pour le SSL, Let's Encrypt est gratuit dans ce cas.

HS Tu n'aimes pas la balise H1 pour ton site Internet on dirait que c'est la mode en ce moment (et je ne te parle pas des autres lol) /HS

Et pour le robots.txt :
https://support.google.com/webmasters/answer/6062598?hl=fr

 

[kimaya49]

Oui c'est vrai qu'après réflexion c'est un peu ridicule.

Ne perdez pas de temps avec mon problème, je vais refaire en faisant les choses correctement avec un site https et si mon problème persiste je reviendrai vers vous

Merci

 

[kimaya49]

Tu parles de la balises H1 pour améliorer le référencement ?

 

[cthierry]

Oui en effet, elle peut être utile à la bonne prise en compte de la page. Et il y a aussi une hiérarchie à respecter avec les balises.

Bref, une petite couche de Let'sencrypt, un peu de balises Hn, un peu de contenu... et le tour est joué pour bien commencer. Regarde sur le forum il y a différents tutos à ce sujets, certains pour ceux qui débutent en référencement.

La petite boite de recherche en haut à droite est ton amie.

 

[kimaya49]

Merci pour les conseils, je vais tenir compte de tout cela...