Traduction libre de ce post sur googlewebmastercentral
Si mon site n'est pas accessible pour des raisons de maintenance, commen puis-je dire au googlebot de revenir plus tard, au lieu d'indexer mon message "Site en cours de maintenace"
Vous devriez configurer votre serveur pour qu'il renvoye un code 503 (réseau indisponible) au lieu d'un code 200 (OK). Cela informe Google-bot d'essayer d'indexer les pages un peu plus tard.
Que dois-je faire si Google-bot crawle trop mon site
Vous pouvez nous contacter — nous travaillerons ensemble pour être certains que nous ne consommons pas toute la bande passante de votre serveur. Nous expérimentons actuellement une fonctionalité de nos outils pour webmestres pour que vous puissiez fournir des données sur votre taux de crawl. Nous avons eu de très bon retours jusqu'içi, nous espérons qu'il sera disponible pour tous bientôt.
Vaut-il mieux utiliser la balise meta robot ou un fichier robots.txt
Googlebot obéit aux deux, mais les tags méta ne s'appliquent qu'à une seule page. Si vous avez de nombreuses pages à exclure, vous pouvez structurer votre site pour qu'il soit aisé d'utiliser un fichier robots.txt pour les bloquer (par exemple, les mettres toutes dans le même répertoire)
Si mon fichier robots.txt contient une directive destinée à tous les robots ainsi qu'une directive spécifique pour lui, comment Googlebot interprete-t-il la ligne adressée à tous les robots ?
Si votre fichier robots.txt contient une directive générique (ou faible) en sus d'une directive spécifiquement adressée à Googlebot, Googlebot obéira à la directive spécifique
Par exemple, pour ce fichier robots.txt:
Googlebot indexera toutes les pages sauf celle contenues dans le répertoire /cgi-bin
Pour celui-là:
Googlebot n'indexera aucune page du site.
Si mon site n'est pas accessible pour des raisons de maintenance, commen puis-je dire au googlebot de revenir plus tard, au lieu d'indexer mon message "Site en cours de maintenace"
Vous devriez configurer votre serveur pour qu'il renvoye un code 503 (réseau indisponible) au lieu d'un code 200 (OK). Cela informe Google-bot d'essayer d'indexer les pages un peu plus tard.
Que dois-je faire si Google-bot crawle trop mon site
Vous pouvez nous contacter — nous travaillerons ensemble pour être certains que nous ne consommons pas toute la bande passante de votre serveur. Nous expérimentons actuellement une fonctionalité de nos outils pour webmestres pour que vous puissiez fournir des données sur votre taux de crawl. Nous avons eu de très bon retours jusqu'içi, nous espérons qu'il sera disponible pour tous bientôt.
Vaut-il mieux utiliser la balise meta robot ou un fichier robots.txt
Googlebot obéit aux deux, mais les tags méta ne s'appliquent qu'à une seule page. Si vous avez de nombreuses pages à exclure, vous pouvez structurer votre site pour qu'il soit aisé d'utiliser un fichier robots.txt pour les bloquer (par exemple, les mettres toutes dans le même répertoire)
Si mon fichier robots.txt contient une directive destinée à tous les robots ainsi qu'une directive spécifique pour lui, comment Googlebot interprete-t-il la ligne adressée à tous les robots ?
Si votre fichier robots.txt contient une directive générique (ou faible) en sus d'une directive spécifiquement adressée à Googlebot, Googlebot obéira à la directive spécifique
Par exemple, pour ce fichier robots.txt:
Code:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/Googlebot indexera toutes les pages sauf celle contenues dans le répertoire /cgi-bin
Pour celui-là:
Code:
User-agent: *
Disallow: /
