Prb avec le fichier robots.txt bloqué alors que tout semble ok

[Click Busters]

Bonjour à tous,

Nous venons de finaliser un site sous WP. Comme d'habitude (on est loin de notre premier site, mais là on bloque) nous avions bloqué le site via robots.txt durant la phase de création et GWT avait confirmé le blocage. A présent finalisé nous désirons ouvrir le site aux moteurs et avons donc notifié en BO de WP de demander aux moteurs de recherche d’indexer ce site, avons vérifié l'ensemble de la configuration du WP pour éviter un blocage quelconque et placé un robots.txt adapté au site (voir ci dessous) :

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi

User-agent: Googlebot-Image
Allow: /

User-agent: Mediapartners-Google
Allow: /

Le prb est que ce robots.txt est en place depuis cette nuit mais dans ma console GWT j'ai toujours une notification comme quoi l'accès de Googlebot à est bloqué et me présente un ancien robots.txt, alors que, à moins d'une erreur, ce .txt ci dessus no le bloque pas. Il y a donc un prb mais nous n'arrivons pas à le déceler.

Quand je vais dans "Explorer comme Google" et je fais un test sur la home du site il me notifiait hier "Refusée par le fichier robots.txt" et ceci avant le changement de robots.txt Mais à présent, suite à une nouveau test d'exploration il notifie "Opération effectuée" + URL et pages référencées par le biais de liens ayant été envoyées pour indexation. Cela sous entend que c'est ok et qu'il y a plus de restriction moteur. Pourquoi alors me notifier que le robot est bloqué dans la section "URL bloquées", et il me présente toujours à cet instant l'ancien robots.txt dans la page.

Le bot de GG ne met pas à jour instantanément les infos dans le GWT ? Et dans ce cas, quand on change de robots.txt, il y a un moyen de le forcer à faire une mise à jour du robots.txt ? Car dans le GWT, sur la page "URL bloquées", il me notifie un blocage des lien du sitemap. Bien étrange.

Cela pourrait il venir du htacess mis en place tel que ci dessous :

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

Options +FollowSymlinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^ledomainenequestion.com$
RewriteRule ^(.*) http://www.ledomainenequestion/$1 [QSA,L,R=301]

<Files .htaccess>
   order allow,deny
   deny from all
</Files>

# Interdire la consultation des fichiers
Options All -Indexes

AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/javascript text/css application/x-javascript
BrowserMatch ^Mozilla/4 gzip-only-text/html
BrowserMatch ^Mozilla/4.0[678] no-gzip
BrowserMatch bMSIE !no-gzip !gzip-only-text/html

FileETag MTime Size
<ifmodule mod_expires.c>
<filesmatch "\.(jpg|gif|png|css|js)$">
ExpiresActive on
ExpiresDefault "access plus 1 year"
</filesmatch>
</ifmodule>

Merci d'avance de votre point de vue, sur ce blocage ...

 

[Marie-Aude]

Le prb est que ce robots.txt est en place depuis cette nuit mais dans ma console GWT j'ai toujours une notification comme quoi l'accès de Googlebot à est bloqué et me présente un ancien robots.txt,

Il faut attendre environ 24 h que le fichier soit pris en compte. GBot ne semble charger les robots.txt qu'une fois par jour

 

[Click Busters]

Merci Marie-Aude pour ta réponse , je vais donc m'armer de patience :? , jusqu’à lundi