Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google

[dudo]

Bonjour,
Je trouve que Google devient trop intrusif à ce rythme il permettra aux internautes la consultation du contenu de nos sites à partir de son moteur :
Un spécialiste peut-il me dire si ces deux lignes dans le fichier .htaccess vont faire le job ? et suffisant
merci

RewriteEngine On
 RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Googlebot
 RewriteRule \.(css|js)$ http://www.monsite.net [QSA,R=301,L]

 

[loubet]

j'utiliserais plutôt un robots.txt pour faire cela.

 

[dudo]

j'utiliserais plutôt un robots.txt pour faire cela.

Déjà fait, Disallow: /*.js, mais l'expérience m'a montrer que ce n'est pas toujours respecté par le tout puissant qui fait ce qu'il veut, donc je renforce, d'un point de vue technique je ne bloque pas mes JavaScripts !

on est d'accord là-dessus ou pas, quelqu'un à un avis !

 

[Bigb06]

Google préconise de laisser l'accès aux JS et CSS car sinon il ne peut pas générer un aperçu complet de la page et peut éventuellement pénaliser celle ci, puisqu'il ne sait pas si au final le contenu du fichier HTML est affiché/masqué ...

Une très mauvaise idée à mon avis.

 

[spout]

Une très mauvaise idée à mon avis.

+1

C'est quoi le problème ? Tes CSS et JS apparaissent dans les SERPs ?

 

[Madrileño]

Bonjour,

Même avis que Bigb06 et Spout.
Le mieux est d'écouter Google et de ne pas bidouiller.

Cordialement.

 

[spout]

Quand on regarde les 2 sites que t'as dans l'annuaire WRI, les CSS sont servis en text/html. Rien d'étonnant :roll:

 

[Madrileño]

Bonjour,

Il semble que dudo a fait les changements sur les sites (testé sur quelques CSS d'un site).
N'hésitez pas à indiquer si c'est bien fait et remercier Spout pour le problème text/html.

Cordialement.

 

[longo600]

Ya pas que Google qui respecte pas les consignes robots.txt . Pour ma part, je viens de tous les bloquer par l'entête du serveur de gestion de mes comptes qui etait de plus en plus chargé par les crawlers.
Je crois que le pire est yahoo, suivi de bing qui lui t'envoie des rafales de crawl.
Bref.