Juste un Disallow

[Blackart]

Bonjour,

Je suis maintenant à près de 6 requêtes par seconde par les bots !

Il faut que je calme un peu tout ça, j'ai déjà fait une GROSSE erreur dans mon robots.txt j'avais mis en PROD un fichier de DEV dans lequel il y avait un seule ligne:

Disallow: /

Je me suis tout fait déférencé en moins de 2 semaines et mis plusieurs mois à retrouver un référencement d'avant cette grosse bourde.

Là je pense mettre :

User-agent: *
Allow: /
Disallow: /include/php/ajax/ajax_checkuser_loggedin.php
Crawl-delay: 4

Sitemap: https://monsiteweb.com/sitemaps/sitemaps-mainpages.xml

Est-ce que c'est bon ? Le Disallow du call ajax va bien se faire malgrès le Allow: / qu'il y a juste avant ?

Merci,
Vincent.

 

[rick38]

Allow: / est inutile
Quand quelque chose n'est pas bloqué, c'est qu'il est autorisé.

 

[WebRankInfo]

Crawl-delay ne concerne que Bing je crois (mais pas Google)
pour l'ajax, mieux vaut demander à des spécialistes Ajax (que je ne suis pas)

 

[Blackart]

Allow: / est inutile
Quand quelque chose n'est pas bloqué, c'est qu'il est autorisé.

Oui mais ça m'a tellement traumatisé de tout déférencer, ça m'a fait du bien au mental de mettre Allow / après avoir mis Disallow /
Maintenant, ça me fait peur de modifier quoi que ce soit.

 

[WebRankInfo]

je précise que mettre disallow ne désindexe rien du tout...

 

[spout]

Pour AJAX :
Tu détectes que le request est fait en AJAX ou pas. Si pas : erreur 403, 404 ou 405.

PHP:

function isAjax ()
{
    return
        isset($_SERVER['HTTP_X_REQUESTED_WITH'])
        && $_SERVER['HTTP_X_REQUESTED_WITH'] == 'XMLHttpRequest'
}

 

[WebRankInfo]

ah voilà, je me disais bien qu'on pouvait faire ça mieux qu'avec un disallow