scanner toutes les urls d'un site

[evets]

Bonujour.

Je possède aujourd'hui un site en dynamique et je désirerais trouver un script php qui me scanne l'ensemble des urls de mon site. Je cherche sur google mais je ne trouve pas.

Merci pour votre aide :wink:

 

[dd32]

Bonjour,

Tu pourrais préciser stp ? c'est dans quel but ?

 

[AW]

Oui on a besoin de plus de précisions, c'est pour faire un sitemap, un plan de site?

sinon tu as : https://www.google.fr/search?hl=fr&q=sit ... ogle&meta=

Si tout est bien indexé

 

[HawkEye]

Bonujour.

Je possède aujourd'hui un site en dynamique et je désirerais trouver un script php qui me scanne l'ensemble des urls de mon site. Je cherche sur google mais je ne trouve pas.

Merci pour votre aide :wink:

SOFTPlus GSiteCrawler: °http://johannesmueller.com/gs/

...le seul truc qu'il ne fait pas, c'est le café.

Edit: "script php"... sorry

 

[evets]

Merci pour votre réactivité rapide ! :wink:

En je voudrais créer un moteur de recherche interne pour mon site. Pour cela je voudrais indexer les pages de mon sites en extrayant le title, les keywords ...... Le problème c'est que j'ai plein de pages donc je voudrais créer un script qui scanne toutes les pages de mon site. Ce script me permettrait de récupérer l'url de la pages et le contenu.

Ma question dans ce post est uniquement de pouvoir scanner les url de mon sites. Par exemple, me retourner l'ensemble des urls présentent dans -http://www.example.fr/rubrique-Ville/*

Merci encore ! 8)

 

[dd32]

scanner toutes les pages y compris les pages dynamiques, y'a-t-il de l'UR sur ton site ?

 

[evets]

excuse moi... de l'UR? :roll: veut dire ?

 

[dd32]

UR = url rewriting

 

[evets]

oui tout a fait, j'ai fait de l'url rewriting.

 

[dd32]

donc il ne faut pas un script qui scanne tout ton répertoire mais toutes les pages potentiellement créées et rewritées, non ?

 

[AW]

je vais dire peut etre un truc bete, mais si tu utilisais Google comme moteur interne de ton site?

 

[evets]

tout a fait, je ne veux pas scanner un répertoire mais bien les pages web rewritées sur le net : -http://www.examlpole.fr/rubrique-Ville/*

Merci .

PS : A moins de reconstruire mes pages rewritées a partir de la base :roll:

 

[dd32]

@AW : c'est un peu là que je voulais en venir oui...

@evets : tu veux dire, scanner toutes les pages dynamiques d'un répertoire et pour chaque page dynamique compter le nombre de pages rewritées (exemple pour une page de news on a news.php et dans la bdd il y a 144 id de news...), un peu lourd non ?

 

[evets]

je sens que je suis de + en + perdu là .

Je pensais trouver très vite un bout de code php pour crawler les pages de mon site comme le font les aspirateur de site mais je vois que c'est plus compliqué qu'il n'y parait.

Je pense que je vais bidouyer un truc a partir de ma base Mysql, c'est à dire, à partir de mes données et de ma politique d'UR, reconstituer les url http://.........

Merci pour votre aide en tous les cas ! :wink:

 

[AW]

Ma solution te convient pas?

Sinon je te conseille ce post : https://www.webrankinfo.com/forum/t/developper-un-moteur-de-recherche-en-php.41650/

 

[gomoz]

Au pire tu fais comme pour construire le site map de google (y a un script sur le forum) et tu te sert du XML ensuite.

Moi c'est ce que je ferai toujours.

 

[evets]

Merci pour toutes vos réponses très constructives :wink: