Robots txt et interdiction depage rewriitées

[curumo]

Bonsoir, je ne sais pas si je suis dans le bon forum mais j'ai cherché à faire au mieux...

Bon voilà j'utilise un url rewritting pour un forum phpbb... Celui ci utilise dans cet htacess :

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www.aratars.org$ 
RewriteRule ^(.*)   http://www.aratars.org/$1  [QSA,L,R=301] 
RewriteRule ^forums.* index.php 
RewriteRule ^mforum([0-9]*).* viewforum.php?f=$1&mark=topics 
RewriteRule ^viewforum([0-9]*)-([0-9]*)-([0-9]*).* viewforum.php?f=$1&topicdays=$2&start=$3 
RewriteRule ^forum([0-9]*).* viewforum.php?f=$1 
RewriteRule ^ptopic([0-9]*).* viewtopic.php?t=$1&view=previous 
RewriteRule ^ntopic([0-9]*).* viewtopic.php?t=$1&view=next 
RewriteRule ^stopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&watch=topic&start=$2 
RewriteRule ^utopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&unwatch=topic&start=$2 
RewriteRule ^ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*).* viewtopic.php?t=$1&postdays=$2&postorder=$3&start=$4 
RewriteRule ^ftopic([0-9]*)-([0-9]*).* viewtopic.php?t=$1&start=$2 
RewriteRule ^ftopic([0-9]*).* viewtopic.php?t=$1 
RewriteRule ^ftopic([0-9]*).html viewtopic.php?t=$1&start=$2&postdays=$3&postorder=$4&highlight=$5 
RewriteRule ^setopic_([0-9]*)-([a-zA-Z0-9]*).* viewtopic.php?t=$1&highlight=$2 
RewriteRule ^sutra([0-9]*).* viewtopic.php?p=$1 
RewriteRule ^newtopic([0-9]*).* viewtopic.php?t=$1&view=newest

Or Google en manque de lien s'est mis en tête de visiter mes pages de profil (interdit) essayer de poster (retiré depuis peu) etc...

Son dernier delire est de cliquer sur les "messages suivants" d'un topic donc ici les liens "ntopic" et "ptopic"

Le seul soucis est que ses fameux liens ne correspondent à rien si ce n'est un même sujet déjà visité... En plus lorsque je cherche à visiter moi le lien (merci robotstats) ca plante. Cela doit être similaire pour ce cher robot

Donc j'ai cherché à modifier mon robtos.txt comme suit :

User-agent: *
Disallow:/login.php 
Disallow:/modcp.php 
Disallow:/posting.php 
Disallow:/privmsg.php 
Disallow:/search.php 
Disallow:/viewonline.php 
Disallow:/profile.php 
Disallow:/memberlist.php
Disallow:/faq.php 
Disallow:/raccourci.php
Disallow:/statistics.php
Disallow:/ntopic([0-9]*).php
Disallow:/ptopic([0-9]*).php

Seulement MSN ne semble pas franchement perturber par les deux derniers élements...

Comment est-il possible d'interdire toutes les pages en ntopicXXXX.php et ptopicXXXXX.php et cela pour toutes valeurs de X ?!!

D'avance merci parce que là ca depasse de très très loin mes compétences !

 

[Maze12]

je pense que si tu n'as pas de page rewriter que tu veuilles indexer commencant par /ntopic ou /ptopic tu peux faire:

Disallow:/ntopic*
Disallow:/ptopic*

quelqu'un confirme parce que j'en suis pas certain..

 

[jeanluc]

Bonjour,

On ne doit pas utiliser d'astérisque (*) dans les directives Disallow concernant tous les user agents (celles qui concernent User-agent: *). L'astérisque y est considérée comme un caractère comme les autres.

Si tu veux interdire l'accès à tout ce qui commence par /ntopic, tu écris :

Disallow: /ntopic

Si tu veux interdire l'accès à tout ce qui commence par /ntopic0, /ntopic1, ..., /ntopic9, tu écris :

Disallow: /ntopic0
Disallow: /ntopic1
Disallow: /ntopic2
Disallow: /ntopic3
Disallow: /ntopic4
Disallow: /ntopic5
Disallow: /ntopic6
Disallow: /ntopic7
Disallow: /ntopic8
Disallow: /ntopic9

Non, ce n'est pas élégant ... :wink:

Ce n'est pas compliqué. J'ai mis en ligne un résumé de ce qu'il faut savoir sur robots.txt : http://www.annuaire-info.com/robots/txt.html.

Jean-Luc

 

[curumo]

OK merci j'étais étonné d'une pareille solution parce que un Disallow :/xxx était je pensais pour des repertoires or ici ceux sont des fichiers