Un hébergement, plusieurs domaines et le robots.txt

Nouveau WRInaute
Bonjour,

Imaginions que vous disposiez d'un hébergement de très grande taille associé au nom de domaine couleur.yip (je mets volontairement une extension farfelue)
Dans couleur.yip/bleu vous installez un site vers lequel pointe le nom de domaine bleu.yip
Dans couleur.yip/rouge vous installez un autre site vers lequel pointe rouge.yip

Si vous mettez un robots.txt du type Useragent:* disallow:/ à la racine de couleur.yip , cela va empêcher le référencement de tout ce qui commence par couleur.yip, mais cela va-t-il empêcher le référencement des pages commençant directement par bleu.yip ou rouge.yip ?

Je souhaite que tout ce qui commence par couleur.yip ne soit pas référencé, mais je veux surtout que bleu.yip et rouge.yip continuent à l'être ou le soient.

Merci
 
WRInaute impliqué
Salut,
La seule chose qui compte est : est-ce que le fichier robots.txt est accessible via bleu.yip/robots.txt et rouge.yip/robots.txt ? Si oui, il sera pris en compte par les robots.
Pour t'assurer que les robots conventionnels n'indexeront pas les pages en question, utilise également le meta "robots" en noindex, nofollow,...
à+
 
Nouveau WRInaute
Schwarzer Stern a dit:
Salut,
La seule chose qui compte est : est-ce que le fichier robots.txt est accessible via bleu.yip/robots.txt et rouge.yip/robots.txt ? Si oui, il sera pris en compte par les robots.
Pour t'assurer que les robots conventionnels n'indexeront pas les pages en question, utilise également le meta "robots" en noindex, nofollow,...
à+
Il n'y a qu'un fichier robots.txt à la racine de couleur.yip, mais ce fichier empêche le référencement pour couleur.yip/bleu/index.html et pour couleur.yip/rouge/index.html (comme de tout ce qui commence par couleur.yip)
 
Discussions similaires
Haut