Juste un Disallow

[Peter Wagner]

Bonjour,

Je suis maintenant à près de 6 requêtes par seconde par les bots !

Il faut que je calme un peu tout ça, j'ai déjà fait une GROSSE erreur dans mon robots.txt j'avais mis en PROD un fichier de DEV dans lequel il y avait un seule ligne:
Code:
Disallow: /

Je me suis tout fait déférencé en moins de 2 semaines et mis plusieurs mois à retrouver un référencement d'avant cette grosse bourde.

Là je pense mettre :

Code:
User-agent: *
Allow: /
Disallow: /include/php/ajax/ajax_checkuser_loggedin.php
Crawl-delay: 4

Sitemap: https://monsiteweb.com/sitemaps/sitemaps-mainpages.xml

Est-ce que c'est bon ? Le Disallow du call ajax va bien se faire malgrès le Allow: / qu'il y a juste avant ?

Merci,
Vincent.

 

[rick38]

Allow: / est inutile.

Quant à Crawl-delay, Google ne le supporte pas.

 

[WebRankInfo]

Je me suis tout fait déférencé

je n'y crois pas, le robots.txt n'agit pas sur l'indexation mais sur le crawl