Robot et exclusion sous-domaines

[gilco]

Bonjour,
J'aimerais mettre en place un fichier robots.txt avec comme particularité l'exclusion de quelques sous-domaines.
En revanche, ma question est plus délicate qu'il n'y paraît :
- 1èrement, j'ai des sous-domaines dy type toto.monsite.com, titi.monsite.com qui pointent tous sur www.monsite.com
- 2èmement, je souhaite que les robots indexent www.monsite.com, mais pas les toto.monsite.com

La mise en place d'un robots.txt ne va-t-elle pas nuire à www.monsite.com???
Et quelle syntaxe faut-il utiliser?

Merci d'avance pour vos éclaircissements,

 

[Leonick]

La mise en place d'un robots.txt ne va-t-elle pas nuire à http://www.monsite.com???

si, vu qu'il ne peut y avoir qu'un seul fichier robots.txt

 

[nickargall]

il te faut donc passer par des redirections 301 (dans le .htaccess) qui disent en gros :

Tout ce qui n'est pas de la forme
www.example.com/$1
doit etre redirigé de façon permanente vers
www.example.com/$1

 

[Leonick]

alors après, il y a une autre possibilité, là encore avec le htaccess, c'est de créer plusieurs robots.txt, genre robots1.txt, robots2.txt, etc... et de réécrire l'url robots.txt selon le domaine. J'ai fait ça sur un de mes sites pour lesquels j'ai 2 ndd différents sur le même répertoire, et ça marche. Le but était d'interdire toute indexation sur ndd1 mais de ne pas réécrire ndd1 en ndd2 dans le htaccess

 

[gilco]

Merci à vous deux pour les pistes évoquées.
J'ai oublié de vous préciser que les sous-domaines affichent le même contenu dans un habillage de site différent.

En creusant un peu, j'ai implémenté dans mes pages des liens du type :
<link rel="canonical" ...>

Ce qui pour un sous-domaine qui ne devait pas être indexé, j'informe les robots de la présence d'une page de référence est située à l'url pointant sur le domaine principal.

En revanche, la technique des multiples robotx.txt par .htaccess va sûrement être employée aussi. Au cas où!
Ainsi, mes sous-domaines ne me feront plus de l'ombre!!
Qu'en pensez-vous??? (en espérant avoir été clair!)

 

[nickargall]

la technique de Leonick doit en effet marcher. Celle de la balise canonical aussi.

 

[Leonick]

En creusant un peu, j'ai implémenté dans mes pages des liens du type :
<link rel="canonical" ...>

le canonical est sensé ne fonctionner que sur un même site, il me semble