Page indéxé malgré un Disallow

[allan62340]

Bonjour,

Je travaille dans une agence de référencement et ce matin surprise !
Nous travaillons sur des projets clients et nous les stockons dans un répertoire http://monagence/clients/...

Dans le robot.txt de mon agence nous avons mis en place un
Disallow: /clients/*

Or ce matin en lançant une requête sur Google, je trouve indéxé des url
http://monagence/clients/monclient

Comment faire pour résoudre ce soucis ?

Bien cordialement
Allan

 

[UsagiYojimbo]

Un site de dev ne doit pas être accessible aussi simplement, robots.txt ou pas. Protection htaccess, serveur local, bref les moyens de manquent pourtant pas pour éviter ce genre de choses.

 

[allan62340]

Nos sites clients sont protégés par un .htaccess mais le soucis est l'indexation des pages. même si elles sont inaccessibles c'est assez génant

 

[UsagiYojimbo]

Si le bot a pu passer et indexer les pages, c'est bien la preuve que la protection .htaccess ne fonctionne pas, non ?

 

[erestrebian]

Si le bot a pu passer et indexer les pages, c'est bien la preuve que la protection .htaccess ne fonctionne pas, non ?

Et qu'elles doivent être accessibles à beaucoup de gens...

 

[soldiez]

il suffit que tu fasses un lien vers /client/fichier.xxx depuis une page indexée dans les moteurs de recherche et hop, les crawler passent au dessus de ton fichier robot. il faudrait au minima quand on fait ça mettre du nofollow sur l'ensemble de ton contenu dans ce répertoire...

 

[forty]

c'est robots.txt pas robot.txt

c'est sur qu'il vaut mieux une protection par htpassword