Nouvelle ligne sitemap dans le fichier robots.txt

[salva]

Jusqu'à présent, une fois le fichier XML sitemap créé, il fallait le soumettre à l'ensemble des moteurs pour que ceux-ci le prennent en compte. Par exemple, pour Google, il fallait se connecter aux outils pour webmaster afin d'indiquer l'url du fichier sitemap. Désormais, les moteurs se sont mis d'accord pour une nouvelle ligne à insérer sur le fichier robots.txt pour indiquer l'emplacement de ce fichier.

Il suffit d'insérer la ligne suivante :
Sitemap: <URL du fichier sitemap>

Source

 

[latitude1661]

Idée géniale! Je viens d'ajouter la ligne, on verra si cela fonctionne.
Apparament il faut indiquer l'adresse complete du fichier avec les http://

All you have to do is add a line like
Sitemap: http://www.mysite.com/sitemap.xml

 

[YoyoS]

Si on en a plusieurs, j'imagine que c'est ça:

Sitemap: http://www.mysite.com/sitemap.xml
Sitemap: http://www.mysite.com/dossier/sitemap.xml

 

[latitude1661]

Quel est l'interet d'avoir plusieurs sitemaps?

 

[Audiofeeline]

Moi je ne comprend vraiment pas l'intérêt du sitemap...
Les feed RSS font très bien l'affaire et sont plus standards...
Je ne donne pas 2 ans à ce format.

 

[salva]

Moi je ne comprend vraiment pas l'intérêt du sitemap...
Les feed RSS font très bien l'affaire et sont plus standards...
Je ne donne pas 2 ans à ce format.

Ces stats (que je trouve peu communes) seraient-elles liées au fait que tu n'utilises pas de sitemap?

 

[Audiofeeline]

Ces stats peu communes sont liées au fait que j'ai pas mal bossé pour être assez bien placé sur tous les moteurs.
Et j'utilise le sitemap!

 

[salva]

Ces stats peu communes sont liées au fait que j'ai pas mal bossé pour être assez bien placé sur tous les moteurs.
Et j'utilise le sitemap!

Je ne te suis plus trop: tu sembles dénigrer le sitemap pourtant tu l'utilises 8O

 

[Audiofeeline]

Pas le choix mais je pense que ce format n'avait pas besoin d'exister.

 

[salva]

Pas le choix mais je pense que ce format n'avait pas besoin d'exister.

Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus ): pour une fois qu’il y a consensus sur un format :wink:

 

[Boetio]

En tout cas bien pratique...

 

[Eddydiver]

Bonjour,

Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...

Existe-t-il déjà un post concernant cela ?

Merci d'avance.

 

[cthierry]

En tout cas bien pratique...

Et mis en plae dans la foulée.

Au pire rien de plus
Au mieux, une meilleure indexation du site :-D

 

[Audiofeeline]

Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus ): pour une fois qu’il y a consensus sur un format :wink:

Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

 

[salva]

Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus ): pour une fois qu’il y a consensus sur un format :wink:

Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

C’est triste pour Yahoo mais s’il était encore une référence ça se saurait

La détection automatique est également transposable pour le sitemap

 

[YoyoS]

Quel est l'interet d'avoir plusieurs sitemaps?

Ben pourquoi pas ? Si on en a un statique et un dynamique appartenant à un autre répertoire ?

t'as pas d'autres questions de ce genre ? lol

 

[Audiofeeline]

Attention, je ne mets pas en cause le principe mais le fait qu'on pourrait très bien faire la même chose avec un flux RSS, ça éviterait de multiplier les fichiers destinés aux bots...

 

[frenot]

sitemap.asp ? je peux le passer dans le fichier robots.txt ?

J'ai un sitemap dynamique, enregistré sous google via l'url sitemap.asp et google s'en sort bien... probleme, est-ce que dans le robots.txt, je peux mettre une ligne avec :
Sitemap: http://www.example.com/sitemap.asp

Les moteurs vont-il accepter que le sitemap soit générer par l'appel de cet apge (comme le fait google à ce jour) ? à votre avis ?

 

[salva]

Re: sitemap.asp ? je peux le passer dans le fichier robots.t

J'imagine que oui. Fais le test.

Peux-tu donner l'url du sitemap histoire de voir comment un navigateur l'affiche?

 

[ManaZen]

extension php

J'ai ajouté la ligne dans mon robots.txt,
sitmap: http://example.com/dossier/monsite_sitemap.php

Pensez-vous que l'extension php pose un problème ?
Merci

 

[Suede]

Les principaux moteurs de recherche ne semblent pas de ton avis ( moi non plus ): pour une fois qu’il y a consensus sur un format :wink:

Regarde Yahoo! qui prend en charge les flux RSS pour faire la même chose.
Je pense que les autres moteurs suivront et que le sitemap disparaitra ce qui me semble le plus logique, en plus la détection du RSS peut se faire automatiquement.

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

Le sitemap a des info que le rss n'a pas et vice-versa.
Le rss te donne un aperçu d'un contenu et son adresse avec une date de création.
Le sitemap te donne une adresse sans contenu avec une période d'actualisation


Dans tous les cas, si on utilisait les rss, il faudrait faire un rss specifique. Avec comme seul info l'url de la page. Et comme info, la periodicité de l'actualisation de la page.
Il faudrait aussi pouvoir indiquer que tu as un flux rss tout en indiquant qu'il est sans contenu.

 

[Bellegarde-webb]

Bonjour,

Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...

Existe-t-il déjà un post concernant cela ?

Merci d'avance.

Pour créér ton sitemap :
http://www.xml-sitemaps.com/

 

[salva]

L’analyse de mon robot.txt dans "outils pour webmasters" après ajout de la ligne "sitemap"

Google m'affiche "syntaxe non comprise". 8O

Allez comprendre...

 

[pfff]

Google m'affiche "syntaxe non comprise". 8O

Allez comprendre...

+1 :?

 

[Boetio]

Allez comprendre...

Pareil :
"robots.txt file does not appear to be valid"

 

[ddpetit]

Re: extension php

J'ai ajouté la ligne dans mon robots.txt,
sitmap: http://example.com/dossier/monsite_sitemap.php

Pensez-vous que l'extension php pose un problème ?
Merci

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

 

[Bellegarde-webb]

Y a-t-il un outil pratique et facile pour faire un sitemap dynamique?

 

[Koxin-L]

Ceci-dit, je n'ai jamais constaté de différence d'indexation avec ou sans sitemap...

GG indexe grâce à lui des pages d'un de mes sites qui avaient plus de 4 ans et qu'il ignorait jusqu'alors. :wink:

 

[ddpetit]

Y a-t-il un outil pratique et facile pour faire un sitemap dynamique?

Le mieux est d'utiliser tes connaissances en PHP, si c'est pour indexer des pages web existantes (c'est à dire visible en se connectant en ftp), utilise les fonctions ftp de php (filemtime [pour savoir la date de modification du fichier par exemple])
Sinon, si les pages sont de l'url rewriting, utilise la base de données ou sont stockées tes pages. Je pense qu'il est facile de créer le sitemap.

Pour ceux qui veulent le header php :

<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>

 

[wullon]

Re: extension php

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

D'ailleurs, avec ce nouveau système du robots.txt il n'y a plus besoin de pinger ?
Je suis pas sûr d'avoir tout saisi :S.

 

[Audiofeeline]

Bah normalement...
Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?

 

[Bellegarde-webb]

Pour ceux qui veulent le header php :

<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>

Et il suffit d'ajouter tous les "bons" <urlset .......>
Hum hum.
Et notre bon vieux pingomatic, ça doit suffire après tout.

 

[ddpetit]

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

D'ailleurs, avec ce nouveau système du robots.txt il n'y a plus besoin de pinger ?
Je suis pas sûr d'avoir tout saisi :S.

Oui, je pense que ça permettrait de ne plus pinguer mais apparemment c'est pas encore très bien en place au niveaux des différents moteurs, il vaut mieux patienter plutôt que de faire redescendre son positionnement à cause d'une erreur du fichier robots ...

Pour ceux qui veulent le header php :

<?php
	header("content-type: application/xml");
	echo '<'.'?xml version="1.0" encoding="ISO-8859-1"?'.'>
	<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
	';
?>

Et il suffit d'ajouter tous les "bons" <urlset .......>
Hum hum.
Et notre bon vieux pingomatic, ça doit suffire après tout.

Je soumets mon sitemap avec xmlns="[...]google[...]" sur google et yahoo : aucun problème sur la validité.

 

[narayana]

Bah normalement...
Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?

Aucune sauf si les liens qui composent ton site sont mal foutus et que les pages sont mal linkees entres elles

 

[Koxin-L]

Bah normalement...
Mais sérieusement, vous constatez des différences avec l'utilisation du sitemap?

Aucune sauf si les liens qui composent ton site sont mal foutus et que les pages sont mal linkees entres elles

Je m'auto site, vu que tout le monde à zappé :lol:

GG indexe grâce à lui des pages d'un de mes sites qui avaient plus de 4 ans et qu'il ignorait jusqu'alors. :wink:

Et je précise que mes pages sont bien écrite et les url normale. :wink:

 

[david96]

L’analyse de mon robot.txt dans "outils pour webmasters" après ajout de la ligne "sitemap", Google m'affiche "syntaxe non comprise". 8O

Allez comprendre...

Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9

 

[salva]

Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.

 

[SuperPJ]

L'interview vocale pour ceux qui comprennent l'anglais :
http://videos.webpronews.com/2007/04/12 ... -and-rand/

 

[david96]

Je suis une bille en Anglais ! :lol:

Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9

Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.

Merci, il est vrai qu'il est encore trop tôt pour le dire...
Sinon en ce qui concerne ma question sur la balise <urlset> l'ajout de l'url (sitemaps.org) est à indiquer ou pas ? :?

 

[salva]

Je suis une bille en Anglais ! :lol:

Alors ? ça marche ou bien ? :?

Sinon pour la balise <urlset> du sitemap, faut il ajouter cette ligne pour que les 3 moteurs prennent en considération le sitemap en commun ?

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9

Ce que je peux avancer, depuis que la ligne est rajoutée (et malgré le message "Syntaxe non comprise" concernant le robot.txt dans Outils pour webmaster), en pingant uniquement Google et Yahoo, les trois bots effectuent leur crawl dans la même heure, MSNbot compris sans le pinguer.

Encore trop peu de recul mais mon positionnement sur les trois moteurs est stable.

Merci, il est vrai qu'il est encore trop tôt pour le dire...
Sinon en ce qui concerne ma question sur la balise <urlset> l'ajout de l'url (sitemaps.org) est à indiquer ou pas ? :?

Affirmatif.

Voici l'exemple donné par sitemap.org

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.example.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>

 

[david96]

Merci ;-)

edit : au détriment de celle-ci alors ? :

xmlns="https://www.google.com/schemas/sitemap/0.84"

 

[salva]

Merci ;-)

edit : au détriment de celle-ci alors ? :

xmlns="https://www.google.com/schemas/sitemap/0.84"

Non, en plus du reste: :wink:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="https://www.google.com/schemas/sitemap/0.84 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">

 

[david96]

Merci, c'est chose faite ! Bon bâ attendons de voir tout ça !

 

[fibo]

Je ne comprends pas bien toute la discussion.
- Pour mes sites, j'utilise systématiquement une sitemap parce qu'elle facilite la vie des moteurs de recherche et que c'est donc mon intérêt
- Initialement, cela ne marchait qu'avec Google et il faut passer par les outils (qui, cela dit, présente aussi des tas de choses utiles) et par la 'validation de propriété du site'.
- Ensuite Yahoo s'y est mis aussi, là encore avec validation de propriété
- Donc, tout cela prend du temps
- Et maintenant, on me dit que je peux me simplifier la vie simplement en rajoutant une ligne dans robots.txt. Il faudrait vraiment que je sois maso pour refuser cette simplification qui m'aidera auprès de Google et Yahoo PLUS LES AUTRES que je n'avais pas encore attaqués: MSN, Ask... et je ne doute pas que d'autres s'y mettent par la suite.
- Vérifiez bien toutes les information: il ne faut en principe mettre qu'UNE SEULE ligne dans le robots.txt. MAIS elle peut donner l'adresse d'un index qui contiendrait lui-même l'adresse de plusieurs maps.
- POURQUOI XML? Si vous ne voulez pas vous prendre la tête avec les sitemaps en XML... faites-les en txt, il suffit de mettre les adresses http://* une par ligne, FICHIER EN UTF-8. Moi, j'utilise tout bêtement Xenu, et j'ai ma map txt en un rien de temps...

 

[atbm]

Bonjour,

Je cherche à savoir ce qu'est un "SiteMap", comment cela se créé, etc...


Merci d'avance.

Tu peux utiliser Yooda Map
http://www.yooda.com/outils_referencement/Yooda_map.php

A la fin, vérifie qu'il a bien inscrit toutes tes URL, car il omet celles qu'il ne peut pas atteindre en suivant les liens (javascript par exemple)... comme un robot en fait...

Il est très facile ensuite de les rajouter manuellement, en prenant modèle sur les autres lignes. Un peu long, s'il y en a beaucoup, mais bon !!! :wink:

 

[lululelutin]

Alors ? ça marche ou bien ?

Pour ma part, j'ai ajouté la ligne avec Plan Sitemap : comme présenté http://www.sitemaps.org/fr/protocol.html#submit_robots et je n'ai pas d'erreur...

 

[david96]

Idem, mis à part que sur le compte sitemap de Google, il nous dit ne pas comprendre cette syntaxe, bon pas grave, la mise à jour ne doit pas être en synchro ! Tant que ça marche

edit : Tient c'est marrant la syntaxe n'est pas la même ? :
http://www.sitemaps.org/protocol.html#submit_robots

 

[atbm]

Oui normal, yen a un français et l'autre en anglais...
Dans cette URL : http://www.sitemaps.org/fr/protocol.html#submit_robots , on voit "FR", dans l'autre non...

D'où la différence
sitemap_location
emplacement_sitemap

Mais au final, comme c'est ton URL que tu mets, cela n'a pas grande importance ! :wink:

 

[atbm]

Oups ! Autant pour moi ! J'avais pas vu la ligne:

Sitemap
ou
Plan Sitemap

Alors lequel choisir ???
Ici on préconise Sitemap :
http://googlewebmastercentral.blogspot.com/2007/04/whats-new-with-sitemapsorg.html

 

[wullon]

C'est pas une erreur de traduction :lol: ?

 

[david96]

Je crois que tu as mis dans le mille wullon !
Traduction -> Trahison ! :lol:

 

[salva]

Tout est rentré dans l'ordre ce matin, la ligne "syntaxe non comprise" a disparu.

Google semble enfin reconnaître la syntaxe

 

[NamNam]

Re: extension php

J'ai ajouté la ligne dans mon robots.txt,
sitmap: -http://example.com/dossier/monsite_sitemap.php

Pensez-vous que l'extension php pose un problème ?
Merci

En aucun cas l'extension php pose un problème tant que ton fichier est en xml à l'intérieur. Le fait de générer un sitemap à la volée ne gêne en rien pour les moteurs de recherche, ils l'enregistrent comme si c'était un fichier statique (ce qui est bien dommage : il faut pinguer yahoo à chaque modification ...[si quelqu'un sait comment faire j'aimerais bien savoir, je me connecte dans le siteexplorer et je fais un resubmit du sitemap pour le moment])

Bonjour !

Dans ce cas je pense que si mon sitemap en xml est accessible par une url du genre -www.mon-site.com/index.php?id=130 cela ne pose pas de probleme ? (mon sitemap est généré automatiquement)
De plus, une autre question : si je fais une redirection pour que mon sitemap soit accesible via l'adresse -www.mon-site.com/sitemap.xml est ce que cela est genant pour google si l'adresse du sitemap que je lui fournit est celle de la redirection ?

 

[salva]

Re: extension php

Bonjour !

Dans ce cas je pense que si mon sitemap en xml est accessible par une url du genre -www.mon-site.com/index.php?id=130 cela ne pose pas de probleme ? (mon sitemap est généré automatiquement)
De plus, une autre question : si je fais une redirection pour que mon sitemap soit accesible via l'adresse -www.mon-site.com/sitemap.xml est ce que cela est genant pour google si l'adresse du sitemap que je lui fournit est celle de la redirection ?

Si tu rediriges le sitemap sur -www.mon-site.com/sitemap.xml, tu fournies cette même url à Google.

 

[NamNam]

D'accord, merci :wink:

 

[fibo]

A la fin, vérifie qu'il a bien inscrit toutes tes URL, car il omet celles qu'il ne peut pas atteindre en suivant les liens (javascript par exemple)... comme un robot en fait...

Il est très facile ensuite de les rajouter manuellement, en prenant modèle sur les autres lignes. Un peu long, s'il y en a beaucoup, mais bon !!! :wink:

Euh.. en fait, ce serait une bonne idée que toutes les pages soient accessibles avec des liens "en dur" (plus précisément: ni en flash, ni en javascript). Si non, on perd autant d'occasions de simplifier la vie des moteurs.
D'accord, des liens en javascript ou en flash c'est plus classe... mais pourquoi ne pas les "doubler" par des liens en dur?

 

[hp_angel]

Bonjour !

Quant à moi, j'ai l'habitude lui soumettre un sitemap index sous le format .gz.
Pensez-vous que cela posera un problème si je rajoute la ligne d'appel avec ce fomat dans le fichier robots.txt ?

 

[salva]

Bonjour !

Quant à moi, j'ai l'habitude lui soumettre un sitemap index sous le format .gz.
Pensez-vous que cela posera un problème si je rajoute la ligne d'appel avec ce fomat dans le fichier robots.txt ?

xml, txt et gz sont des extensions pris en charge.

 

[hp_angel]

Merci Salva,

J'avais justement tenté l'expérience et Google vient de passer ==> pas de problème

 

[emerit]

syntaxe précise

Bonjour,
est-il important de ne pas mettre d'espace entre "Sitemap" et les 2 points ?
question bête mais bon..
si oui je vais refaire mes robots.txt !

Merci de votre réponse

 

[sebcbien_bzh]

finalement on met quoi ?
Sitemap: http://www.mon_site.com/sitemap.xml

 

[salva]

finalement on met quoi ?
Sitemap: http://www.mon_site.com/sitemap.xml

Ton exemple est bon.