Arrivez-vous encore à crawler ?

[elji]

Je le fais de temps en temps, pour vérifier que je n'ai pas de liens cassés ou autres problèmes.

Mais cela devient de plus en plus difficile, et de plus en plus lent.

Mon site compte 50000 URIs et je suis sur un VPS avec 16 Go de RAM. Je me demande si c'est le serveur qui est lent ou mes scripts qui sont lourds...
Bien sûr, avant de lancer le crawl, je désactive la fonction anti-aspirateur.

 

[WebRankInfo]

Nous n'avons aucun problème à crawler avec nos outils MyRankingMetrics (RM Tech et autres), ça doit venir de ton site je pense.

 

[elji]

Hmm, c'est ce que je craignais d'apprendre. Il faut que je revois mes scripts, c'est pas simple.

 

[spout]

Tu crawles comment ?
Spatie a fait un package en PHP de la balle : https://github.com/spatie/crawler
NB : pas testé parce que je ne scrape plus rien depuis un moment

 

[elji]

Parce que je suis vieux, j'utilise un vieux soft : Xenu. Mais il marche encore très bien.

NB : pas testé parce que je ne scrape plus rien depuis un moment

D'une manière générale, en tant que webmaster, je crawle mes sites à peu près comme je vérifie les pneus de ma voiture. Faut le faire régulièrement.

 

[WebRankInfo]

donc le pb n'est pas le crawler mais ton site. as-tu un cache pour éviter que chaque page crawlée soit générée à la volée par le serveur ?

 

[elji]

Non, je n'ai pas de cache. D'abord parce que je ne saurais pas le faire, ensuite parce que sur 1500 pages, j'ai des sondages sur lesquelles les visiteurs ajoutent des données 24/7. Je prévois de supprimer des pages paginées pour faciliter la tâche du serveur.

 

[spout]

Tes pages on un grand TTFB ?
Les données dynamiques n'empêchent pas la mise en cache.

 

[elji]

Tes pages on un grand TTFB ?

Il pourrait être amélioré, et je vais y travailler, mais il est pas si mauvais. Je vois plutôt le problème dans un grand nombre de pages avec un TTFB moyen.
J'ai déjà supprimé 12 liens de la page d'accueil, c'était rapide. J'ai aussi réduit mon htaccess.