Nouveau WRInaute
Bonjour,
Pour éviter le hotlinking et réserver les crawl de mes images à seulement certains bots, j'utilisais le code suivant dans mon fichier htaccess:
RewriteEngine on
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?mondomaine\.fr/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?mondomaine\.fr$ [NC]
RewriteCond %{HTTP_USER_AGENT} !(Googlebot|bingbot|msnbot|yahoo-mmcrawler) [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-image [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-news [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-video [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-mobile [NC]
RewriteCond %{HTTP_USER_AGENT} !mediapartners-google [NC]
RewriteCond %{HTTP_USER_AGENT} !mediapartners [NC]
RewriteCond %{HTTP_USER_AGENT} !facebookexternalhit [NC]
RewriteCond %{HTTP_USER_AGENT} !baiduspider [NC]
RewriteCond %{HTTP_USER_AGENT} !sogou [NC]
RewriteCond %{HTTP_USER_AGENT} !twitterbot [NC]
RewriteCond %{HTTP_USER_AGENT} !pinterest [NC]
RewriteCond %{HTTP_USER_AGENT} !qwant [NC]
RewriteCond %{HTTP_USER_AGENT} !(FlipboardBot|FlipboardBrowserProxy|FlipboardProxy) [NC]
RewriteRule .*\.(wav|swf|jpg|jpeg|gif|png|bmp|js|css|webp)$ - [F,NC,L]
Je me suis toutefois aperçu que dans la search console de nombreuses images étaient détectées mais non indexées et en testant l'url via la console, je tombe sur des erreurs 403.
Cela me paraît plutôt étrange, probablement une coquille dans ce code mais j'avoue ne pas arriver à comprendre.
De plus, si j'ajoute RewriteCond %{HTTP_REFERER} !^$, google ne me met plus d'erreur, mais cela va à l'encontre de l'idée de départ de bloquer les user agent non autorisés.
Si quelqu'un avait une idée de l'erreur dans ce code, je serais évidemment preneur
Pour éviter le hotlinking et réserver les crawl de mes images à seulement certains bots, j'utilisais le code suivant dans mon fichier htaccess:
RewriteEngine on
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?mondomaine\.fr/.*$ [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?mondomaine\.fr$ [NC]
RewriteCond %{HTTP_USER_AGENT} !(Googlebot|bingbot|msnbot|yahoo-mmcrawler) [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-image [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-news [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-video [NC]
RewriteCond %{HTTP_USER_AGENT} !googlebot-mobile [NC]
RewriteCond %{HTTP_USER_AGENT} !mediapartners-google [NC]
RewriteCond %{HTTP_USER_AGENT} !mediapartners [NC]
RewriteCond %{HTTP_USER_AGENT} !facebookexternalhit [NC]
RewriteCond %{HTTP_USER_AGENT} !baiduspider [NC]
RewriteCond %{HTTP_USER_AGENT} !sogou [NC]
RewriteCond %{HTTP_USER_AGENT} !twitterbot [NC]
RewriteCond %{HTTP_USER_AGENT} !pinterest [NC]
RewriteCond %{HTTP_USER_AGENT} !qwant [NC]
RewriteCond %{HTTP_USER_AGENT} !(FlipboardBot|FlipboardBrowserProxy|FlipboardProxy) [NC]
RewriteRule .*\.(wav|swf|jpg|jpeg|gif|png|bmp|js|css|webp)$ - [F,NC,L]
Je me suis toutefois aperçu que dans la search console de nombreuses images étaient détectées mais non indexées et en testant l'url via la console, je tombe sur des erreurs 403.
Cela me paraît plutôt étrange, probablement une coquille dans ce code mais j'avoue ne pas arriver à comprendre.
De plus, si j'ajoute RewriteCond %{HTTP_REFERER} !^$, google ne me met plus d'erreur, mais cela va à l'encontre de l'idée de départ de bloquer les user agent non autorisés.
Si quelqu'un avait une idée de l'erreur dans ce code, je serais évidemment preneur