[LOGICIEL] Générateur de sitemap

Fnnyaert · 23 Septembre 2008

Bonjour,

J'ai crée un mini logiciel de création de sitemap avec détéction du fichier robots.txt. Le logiciel détecte vos pages et vous les met en forme. Vous pouvez spécifier les répertoires en + du robots.txt à ne pas indéxer.

Le logiciel vous permet aussi de voir vos erreurs 404 et indiquent dans quel fichier elles se trouvent. Vous pouvez exporter votre fichier sitemap.xml à la fin de parcourt de vos pages.

Voilà, si vous voyez des fonctionnalités manquantes ou des petits bugs n'hésitez pas

Le lien : http://www.blanchon-vincent.fr/portfolio/python/generateur-sitemap/

Edit : L'exécutable pour mac est disponible ainsi que l'export XML.

Merci d'avance

k2pi · 23 Septembre 2008

Il y a une limite de crawl ?

Fnnyaert · 23 Septembre 2008

Limite de crawl ? c'est à dire ?
Quelque chose ne fonctionne pas ?

Benoit1 · 23 Septembre 2008

Il y a un souci oui, il prend l'index du site et s'arrête... (?)

Fnnyaert · 23 Septembre 2008

Benoit1 a dit:
Il y a un souci oui, il prend l'index du site et s'arrête... (?)

lol effectivement. C'est quoi le site que tu as essayé parce que j'ai essayé sur pas mal de site et y'avait pas d'erreurs :/

Fnnyaert · 23 Septembre 2008

Le logiciel a été mis à jour pour palier au problème

Benoit1 · 23 Septembre 2008

Etrait du plan :

es/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/Nouveautes/sommaire.htm
http://www.destin-tanganyika.com/Articl ... s-2008.htm
http://www.destin-tanganyika.com/Articl ... ouveautes/

Il y a comme un souci je crois...

Fnnyaert · 23 Septembre 2008

Oui je vais regarder ça.
Merci

Comment tu gère tes erreurs 404 ? Parce que si je tape une url farfelue, il me retourne pas d'erreur et prend la page d'acceuil, et comme tu as des erreurs 404 dans ton site, ça fausse l'algorithme. Tu as quoi dans ton .htaccess ?

Benoit1 · 23 Septembre 2008

J'ai un htaccess. qui redirige tout en 301 sur l'index.

Fnnyaert · 23 Septembre 2008

D'accord c'est ce qui me semblait. J'ai corrigé ça, c'est mis à jour. Je te mettrais un petit lien de mon site dans les news pour te remercier de tes tests et de ta patience

Benoit1 · 24 Septembre 2008

Nickel en ce qui me concerne, il a pris mes plus de 600 pages sans encombre !

:idea:

Benoit1 · 24 Septembre 2008

S'il pouvait dire le nombre de ligne qu'il a emmagasiné, ça serait parfait

Fnnyaert · 24 Septembre 2008

Le logiciel inscrit maintenant le nombre d'url trouvées et permet l'export du fichier en un fichier 'sitemap.xml'

Les téléchargements fait avant 10h05 peuvent télécharger la nouvelle version

XGilbert · 24 Septembre 2008

Une petite erreur sur le site :

Date création : Septembre 2009

Fnnyaert · 24 Septembre 2008

Merci bien c'est corrigé

manthoR · 24 Septembre 2008

Je comprends pas trop l'interet de ce type de générateur

Le seul avantage que je vois au sitemap c'est :
- pouvoir lister des pages pas accessible aux moteurs (sinon ils les trouvent eux-même),
- ajouter une hypothétique "importance de page",
- et enfin spécifier la date de mise à jour de page.

Pour moi, soit je fais pas de sitemap, soit je joue franchement le jeu à fond.

Et pour moi dans l'ordre :
- ca veut dire qu'on a mal construit sont site => le repenser
- ca sert franchement à rien ou à vraiment pas gd chose dixit google lui-même
- là je sais pas, j'ai lu que ca informait les moteurs mais ne changeait pas leur urls "déjà dans le pipe"

Sinon toujours une bonne initiative de se lancer dans ce genre de dev techniquement interressant

nickargall · 24 Septembre 2008

Bonjour
Ton srcipt ignore-t-il les liens en "nofollow" et les pages arborant les balises meta robots en noindex ou none ?

Fnnyaert · 25 Septembre 2008

manthoR a dit:
Je comprends pas trop l'interet de ce type de générateur

Le seul avantage que je vois au sitemap c'est :
- pouvoir lister des pages pas accessible aux moteurs (sinon ils les trouvent eux-même),
- ajouter une hypothétique "importance de page",
- et enfin spécifier la date de mise à jour de page.

Pour moi, soit je fais pas de sitemap, soit je joue franchement le jeu à fond.

Et pour moi dans l'ordre :
- ca veut dire qu'on a mal construit sont site => le repenser
- ca sert franchement à rien ou à vraiment pas gd chose dixit google lui-même
- là je sais pas, j'ai lu que ca informait les moteurs mais ne changeait pas leur urls "déjà dans le pipe"

Sinon toujours une bonne initiative de se lancer dans ce genre de dev techniquement interressant

Je suis comme toi, le sitemap ne sert à rien (à part pour ceux qui contruisent mal leur site ...), seulement pour Google voit le sitemap d'un bon oeil, il lui permet de voir les nouvelles urls plus rapidement. Donc c'est toujours bien d'en faire un pour le référencement.

Après si tu ne vois pas l'utilité du générateur tu n'es pas obligé de le télécharger ...

Fnnyaert · 25 Septembre 2008

nickargall a dit:
Bonjour
Ton srcipt ignore-t-il les liens en "nofollow" et les pages arborant les balises meta robots en noindex ou none ?

Non du tout. Je pars du principe que le fichier robots.txt est là pour ça.

nickargall · 25 Septembre 2008

Fnnyaert a dit:
nickargall a dit:

Bonjour
Ton srcipt ignore-t-il les liens en "nofollow" et les pages arborant les balises meta robots en noindex ou none ?

Cliquez pour agrandir...

Non du tout. Je pars du principe que le fichier robots.txt est là pour ça.

Ok. Dommage.

Fnnyaert · 25 Septembre 2008

Pour les nofollow, lors de la prochaine mise à jour du générateur, cette option figurera dans l'interface

nickargall · 25 Septembre 2008

tant qu'à faire, prends aussi en compte le fait de ne pas lister les pages arborant une meta robots "none" ou "noindex" !

Fnnyaert · 25 Septembre 2008

nickargall a dit:
tant qu'à faire, prends aussi en compte le fait de ne pas lister les pages arborant une meta robots "none" ou "noindex" !

Oui tant qu'à faire

Fnnyaert · 25 Septembre 2008

Maintenant l'interface propose une option afin de ne pas suivre les nofollow et les noindex

nickargall · 25 Septembre 2008

Bon ben alors je continue:

Les liens présents dans le code source sous forme de commentaires HTML sont suivis par ton outil

Et c'est assez courant dans des sites de trouver des parties placées entre commentaires . mais bon c'est pour pinailler

Fnnyaert · 25 Septembre 2008

nickargall a dit:
Bon ben alors je continue:

Les liens présents dans le code source sous forme de commentaires HTML sont suivis par ton outil Et c'est assez courant dans des sites de trouver des parties placées entre commentaires . mais bon c'est pour pinailler

Très bien très bien ça va être vite fait ça

nickargall · 25 Septembre 2008

Et autre chose : les URL comportant le signe + ne sont pas correctement interprétées. Pas de bol, c'est un séparateur valide dans une URL

Fnnyaert · 25 Septembre 2008

Peut tu me donner une url existante avec un + que je regarde ça

Edit: Le problème de commentaires est résolu

eric-joomla · 29 Septembre 2008

outil interessant
manque quelque sparametrages
comme le choix pour enregistrer le fichier echemin et nom
mais c'est pour pinailler

c'est du bon boulot

mtgt · 30 Septembre 2008

Il ne fait pas la différence entre un fichier et un répertoire lorsqu'il interprète le fichier robot.txt, il inscrit le répertoire complet dans la partie "ne pas indéxer".

J'ai l'impression qu'il tourne en boucle, ci-dessous un extrait

Code:

http://www.voyage-australie-nz.com/index.php/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/index.php?page=voyage

Il fait ça sur une partie, et à chaque boucle il rajoute "/galerie" et je suis obligé de l'arrèter

en espérant que ça aide

walter1973 · 30 Septembre 2008

Juste Bravo !
Du temps de gagné pour gagner du temps, voila un post qui fait plaisir.
Mille mercis
walter

Fnnyaert · 30 Septembre 2008

mtgt a dit:
Il ne fait pas la différence entre un fichier et un répertoire lorsqu'il interprète le fichier robot.txt, il inscrit le répertoire complet dans la partie "ne pas indéxer".

J'ai l'impression qu'il tourne en boucle, ci-dessous un extrait

Code:

http://www.voyage-australie-nz.com/index.php/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/galerie/index.php?page=voyage

Il fait ça sur une partie, et à chaque boucle il rajoute "/galerie" et je suis obligé de l'arrèter

en espérant que ça aide

Merci, lors de mes tests j'avais eu ce problème je pensais l'avoir réglé, je vais regarder ça et le corriger.

nath70 · 30 Septembre 2008

Bonjour,
J'ai testé sur plusieurs sites mais sur mes CMS xoops ou joomla, cela s'arrête à la première url... les autres sites ça fonctionne.

Fnnyaert · 30 Septembre 2008

nath70 a dit:
Bonjour,
J'ai testé sur plusieurs sites mais sur mes CMS xoops ou joomla, cela s'arrête à la première url... les autres sites ça fonctionne.

Pouvez vous me donner une url de site où il s'arrête à la première url ?

Une mise à jour du générateur sera disponible en fin de semaine.

maximethomas · 30 Septembre 2008

Fnnyaert a dit:
Pouvez vous me donner une url de site où il s'arrête à la première url ?

Une mise à jour du générateur sera disponible en fin de semaine.

h*tp://www.linkbel.be :wink:

nendo · 30 Septembre 2008

nath70 a dit:
Bonjour,
J'ai testé sur plusieurs sites mais sur mes CMS xoops ou joomla, cela s'arrête à la première url... les autres sites ça fonctionne.

Bonjour
Pour xoops, est-ce que cela ne viendrait pas du module Protector qui bloquerait le logiciel car je pense qu'il prend cela pour une attaque.

Si vous avez bien Protector, il faut le désactiver puis faire votre SiteMap et ensuite réactiver le module.

Bonne après-midi :wink:

nath70 · 30 Septembre 2008

http://www.frxoops.org par ex.

J'ai désactivé protector, mais pas de changement...

El-Cherubin · 30 Septembre 2008

Je vais tester, ça me semble d'etre un bon petit soft

Si tu arrives à en faire un générateur à la volée c'est encore mieux

Adonfff · 30 Septembre 2008

Bien

Bonjour,

Félicitations !
Un petit bouton pour stopper le scan serait le bienvenu et empêcherait de fermer le logiciel à "la sauvage" pour stopper le scan.
Pour le site que j'ai scanné, le logiciel va compter triple certains des liens avec tri par javascript :
- Le lien classique
- lien avec tri descendant
- lien avec tri ascendant

Alors qu'il s'agit d'une seule et même page.

De plus, il m'a permis de détecter des liens morts (internes).

Enfin, ce serait le top du top si le logiciel pouvait créer un sitemap de sitemap en fonction des dossiers.
Et si on pouvait customiser une feuille de style pour le sitemap, ce serait le nirvana !
(Exemple : adonfff(DOT)com/sitemap.xml)

Fnnyaert · 11 Octobre 2008

Re: Bien

Adonfff a dit:
Bonjour,

Félicitations !
Un petit bouton pour stopper le scan serait le bienvenu et empêcherait de fermer le logiciel à "la sauvage" pour stopper le scan.
Pour le site que j'ai scanné, le logiciel va compter triple certains des liens avec tri par javascript :
- Le lien classique
- lien avec tri descendant
- lien avec tri ascendant

Alors qu'il s'agit d'une seule et même page.

De plus, il m'a permis de détecter des liens morts (internes).

Enfin, ce serait le top du top si le logiciel pouvait créer un sitemap de sitemap en fonction des dossiers.
Et si on pouvait customiser une feuille de style pour le sitemap, ce serait le nirvana !
(Exemple : adonfff(DOT)com/sitemap.xml)

Le bouton stop ainsi que plusieurs améliorations ont été inclues. D'autres à venir.

Dernière MAJ : 15 Octobre 2008