fichier robots.txt

Bonjour à tous, J'ai eu la surprise de découvrir que mon fichier robots.txt était indexé? Surprenant? non? Est ce normal, ou il y a t il un moyen d'empecher l'indexation?

Bonjour, voici mon htaccess : RewriteEngine On RewriteRule ^(.+)$ /? [R=301,L] RewriteCond %{HTTP_HOST} !www\.monsite.fr$ RewriteRule ^(.*) http://www.monsite.fr/$1 [QSA,L,R=301] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{THE_REQUEST} ^(GET|POST|HEAD)\ (/.*)?/index.(htm|html|php|asp)...

Bonjour Mon client a conservé à la racine de son serveur, des anciennes pages de liens, comme on en faisait à l’époque avec des dizaines de liens vers des annuaires avec leur gif animé… Il y a une douzaine de pages comme ceci mais ces pages sont spécifiées disallow dans le robots.txt...

Bonjour, j'ai une question: voilà que un client me dit que ses url malgré qu'elles soient interdites à l'indexation par les robots.txt sont toujours prises en compte par Google. Je lui ai dit de mettre en place un "noindex" dans le code source... là il lance..."même s'il y a une redirection...

Bonjour, dans mes outils Webmasters-Tools je constate du duplicate à "Améliorations HTML" - Balises META description en double - Balises title en double la cause : /Mon-titre.URL /Mon-titre-URL?cmsPreview=1 je ne sais pas du tout par quoi est généré cette extension "?cmsPreview=1" en fin...

Bonjour Suite à des avis, je veux tester Wordpress... Mais je ne veux pas que mes essais soient indexés... Actuellement, j'ai ce robot.txt qui permet aux moteurs de visiter tout mon site : User-agent: * Allow: / Mon répertoire wordpress est wp Le code ci-dessous laissera-t il les...

Bonjour à tous, J'ai donc mis en ligne un nouveau site la semaine dernière. http://pandadub.fr/ Problème classique, lorsque j'envoie mon sitemap.xml à google, j'obtiens cette erreur : Le sitemap contient des URL qui sont bloquées par le fichier robots.txt Et ce pour l'intégralité de mes pages...

Google ne traite pas bien les fichiers robots.txt qui renseignent les sitemaps. Cela fait quelques semaines ( ou mois ) que je lui ai renseigné l existence de sitemaps. Je me suis basé sur la documentation officielle: http://www.sitemaps.org/fr/protocol.html Mon fichier robots.txt...

Bonjour à tous, Sur un site sur lequel je travaille, l'agence qui s'occupe du développement à mis en ligne la nouvelle version jeudi. Au moment de la mise en ligne, le robots.txt était en disallow: /. Ils ont fait la modification en 1h00 mais le souci c'est que le robots a crawlé le site avant...

Bonjour Dans les résultats Google j'ai ce problème : J'utilise wordpress :cry:

Bonjour, en lançant la fonction "voir comme google" sur GWT, parmi les erreur sont indiquées toutes les photos, j'aimerai comprendre comment ça ce fait. voici ce que j'ai dans le fichier robots.txt : User-agent : * Crawl-delay: 1 User-Agent: Googlebot Disallow : /*? Disallow : /*=...

Bonjour! Je viens de voir un post et dans mon fic hier robots.txt j'avais seulement qu'une ligne... User-agent: * Je viens de la remplacer par User-agent: * Allow: / Est-ce la bonne choses à faire? ou les 2 reviens au même? MErci! Pascal

Bonjour à tous. J'ai eu le bonheur de me faire hacker il y a quelques jours, mon fichier robots avait un beau disallow all. Depuis mon fichier robots.txt est mal interprété par GWT ! Mon fichier robots que j'ai pris directement sur wp-referencement : http://www.tohom.fr/robots.txt Les...

Bonjour, Lors d'une chute du référencement de mon site (un ecommerce tournant sous prestashop), et en creusant avec mon webmaster (qui me supporte :D), on a remarqué que Google avait indexé la partie /en/ (traduction anglaise du site) alors que celle-ci n'est remplie : pas de contenu. On a...

bonjour, j'ai depuis peu mis en ligne un second site sur l'hébergement utilisé pour mon premier site. Sans modifier le fichier robots.txt du premier site, je me rend compte que Google indexe mon second site de la façon suivante : www.site1.com/site2 (le deuxième site est dans un dossier) au...

Bonjour tout le monde, Depuis un petit moment, Google indexe mes différentes pages (Home, pages "catégorie", etc.). Ce qui pose quelques soucis de balises dupliquées comme la title. Toutes les URL liées à des pages "paginées" comportent une structure en commun : mondomaine.fr/page/2 ou encore...

Bonjour, Voilà j'ai un problème dont je n'arrive pas à me dépêtrer ! Nous avons lancé notre nouveau site le 15 mai, à la suite de quoi, j'ai demandé une réindexation via GWT. Et là explosion des pages introuvables (plus de 334000 à ce jour !) et ça ne cesse de monter. Pour info, cela a fait...

J'ai regroupé dans un même dossier les résultats de plusieurs tests que j'ai effectués ces dernières semaines, sur le crawl, l'indexation et les interdictions de crawl et d'indexation. Google ne réagit plus de la même façon qu'il y a plusieurs années... J'ai également testé et validé...

Bonjour à tous, Un petit point de précision m'intéresse : Si je souhaite désindexer des pages avec des paramètre du type: http://www.example.com/page.html?order=prix pour ne garder que: http://www.example.com/page.html Sachant que les deux sont déjà en canonical ...

Bonjour, j'avais un site sous Magento et je l'ai migrer vers Prestashop. Je suis en mode "remplissage" de la boutique de lingerie sous Prestashop 1.5. Mais j'ai un souci, malgré le fait d'avoir envoyer un sitemap via webmaster tools de Google, j'ai un triangle jaune et le message suivant...