Charge supportée par un serveur

[JeunZ]

Voila une question que je me pose depuis longtemps...

Comment savoir quand il faut changer de serveur ou en prendre un deuxième?


Ce matin je vais sur un site assez connu, et je vois: Nous avons 8 serveurs et notre trafic est d'environ 800 000 pages vues par jours.

Je me dis 100 000 pages vues par jours par serveur... Sachant que X pages vues ne veut rien dire car une page peut ne rien consommer comme elle peut consommer énormément au niveau des ressources serveurs.


Pour ma part j'ai deux serveurs, mais je ne parlerai que du second. Celui ci à d'installé un cache php (eaccelerator), j'utilise également dans mes pages des caches pour ne pas trop solliciter le serveur sql...

Et pourtant avec en moyenne 10 000 pages vues par jours la charge de mon serveur est beaucoup trop elevé. Pour ma part je ne le sens pas ralentir, mais quand je vois les courbes de la charge je me dis que c'est pas bon du tout on est en permanence au dessus de 1 et plutot entre 2 et 3.

Le serveur est certe petit (512 Ram, 2.66Ghz) mais je pense que je devrais quand même pouvoir faire baisser cette charge et il devrait supporter d'avantage de trafic non?


Que me conseilleriez vous de regarder sur mon serveur pour savoir se qui cloche? etc... Comment savoir si mon serveur est au maximum de se qu'il peut supporter? Comment savoir si il y a des choses que je peux optimiser etc...

 

[XoSt]

Perso j'ai 130 000pv sur un serveur, pages NON optimisées, assez mal programmé... (et oui je débutais lol)... et le serveur ne lag qu'un peu les week ends pendant 5 min une fois toutes les 3h...

 

[JeunZ]

Et tu connais la charge de ton serveur? Car j'entend tout le monde me témoigner des choses comme toi, et pourtant les courbes sont bien la regardez:

http://ns32019.ovh.net/mrtg/mrtg-sys/

 

[shrom]

2 points à vérifier en priorité:
- optimisation de Apache
- optimisation de MySQL

Ca peut jouer beaucoup.

Autre chose: vérifier les scripts et les différentes requêtes SQL qui peuvent souvent être optimisés.

Désactiver certaines tâches CRON qui ne servent à rien.

Ensuite faut savoir ce qui peut être améliorer sur la machine, swap, RAMfs ... tout ça peut demander une recompilation du noyau.

 

[XoSt]

Ton serv il est mort la niveau charge...

http://ns20158.ovh.net/mrtg/ voici mon mrtg pour un paquet de sites, j'avais les memes sites sur un autre dédié, mais la charge elle était genre 100x ce que tu as... j'ai changé de dédié, et plus aucun lag...

 

[Erazor]

10 000 pages/jours (1800 visites avec des requetes sql ) c'est ce que fait sur un mutu de petite taille tout les jours sans pb . Bizarre ton truc

 

[JeunZ]

Ok donc je suis pas fou, il y a bien un gros problème !

Et en plus se qui est tres bizzare c'est que la courbe montre que la charge est trop elevé mais le serveur tourne pas si mal...

Bon faut que je trouve d'ou vient le problème vous avez des pistes de recherche?

 

[XoSt]

MySQL... ou sinon un problème au niveau du serveur... mais j'imagine que tu applique les patchs ovh... donc ça ne devrait pas venir de la...

 

[mewp]

As-tu passé ton disque en udma ? Avec ce genre de graph le problème vient visiblement des I/O disques.

 

[JeunZ]

Je n'ai rien fait de tel... Se qui m'etonne également c'est que dans ma config apache conf.httpd j'ai un maxclient par défaut à 150 hors la courbe mrtg n'a pas l'air de confirmer cette config...

 

[mewp]

Les graph montrent clairement que ta charge est liée au fait que le serveur passe trop de temps à attendre le résultat de ses I/O ( disk ou réseau ).
C'est donc là dessus qu'il faut que tu te penches si tu veux réduire la charge.

Tu peux regarder ça : http://guides.ovh.com/KernelDMA/contenu.html et faire un test sur une journée.

 

[JeunZ]

Je suis scotché au "top" pour voir si je vois quelque chos.

J'ai mon processeur qui est libre 70% idle en gros, la RAM ne manque pas non plus 100 000 free et pas de swap.

Nombre de process plus que raisonable 80 en moyenne.


Et pourtant le load average explose, les trois valeurs à différents temps en moyenne sont de 3 5 et 7 enorme donc.

Et je regarde la valeur 3... Et paff d'un coup elle grimpe en une fraction de seconde à 7 et redscend petit à petit jusqu'a un autre gros coup vers le haut...

Et pourtant le site n'a pas l'air d'avoir de ralentissements vraiment notables.

 

[mewp]

Le top ne va rien te donner comme info dans ce cas là, il faut regarder sar et iostat ce sera plus parlant dans ton cas.

 

[JeunZ]

Difficile de déchiffrer mais je ne vois rien d'anormal:

iostat:

Linux 2.4.28-grsec (ns32019.ovh.net) 21.04.2005

cpu-moy: %user %nice %sys %idle
16,86 0,00 5,75 77,39

Device: tps Blk_lus/s Blk_écrits/s Blk_lus Blk_écrits
dev3-0 10,25 19,26 263,73 13922332 190595280

sar:

14:40:02 CPU %user %nice %system %idle
14:49:59 all 58,01 0,00 17,98 24,01
15:00:00 all 52,37 0,00 16,59 31,05
15:10:00 all 54,12 0,00 15,86 30,02
15:20:00 all 55,65 0,00 17,20 27,15
15:30:00 all 55,94 0,00 18,13 25,93
15:40:00 all 60,85 0,00 20,30 18,85
15:50:03 all 44,91 0,00 13,82 41,27
16:00:01 all 63,35 0,00 21,03 15,62
16:10:00 all 51,89 0,00 17,31 30,80
16:20:00 all 54,21 0,00 17,54 28,25
Moyenne: all 30,73 0,00 9,64 59,63

 

[JeunZ]

J'ai peut être trouvé le problème...

Mon site étant une plateforme de blog avec actuellement 6000 blogs, il y a 6000 repertoires d'images, 6000 .ini de config de chaque blog ainsi que 6000 repertoires de stats...


Pensez vous que ce soit ça qui soit en cause?


Je pense sur ça ou sur sql... Car dans le top quand la charge s'emballe je vois arriver pleins de mysql à chaque fois...

 

[mewp]

Si ton système touche à beaucoup de fichier, change ton fstab avec "noatime" comme option sur tes partitions ( évidement il faut umount/mount pour que cela soit pris en compte... ).

-> cela évite à ton serveur d'updater la date de lecture de tes fichiers à chaque fois que tu y touches, et cela va alléger tes I/O...

 

[shrom]

J'ai peut être trouvé le problème...

Mon site étant une plateforme de blog avec actuellement 6000 blogs, il y a 6000 repertoires d'images, 6000 .ini de config de chaque blog ainsi que 6000 repertoires de stats...


Pensez vous que ce soit ça qui soit en cause?

Il faudrait que tu regardes le nombre de fichiers ouverts lorsque tu as un pic et bien sur que tu regardes quelle appli ouvre tous ces fichiers.

Si c'est ça la cause il va falloir recompiler le noyau.

 

[JeunZ]

Je crois que je viens de trouver quelque chose d'important...

J'avais optimiser à peu pres toutes mes requetes SAUF une... Celle qui permet de rechercher dans un blog... A chaque fois qu'on faisait une recherche dans un blog ça faisait une low query vu le nombre de publication au totale...

Je viens donc de deleguer la recherche à google adsense... Par contre il va falloir que je bloque certaines adresses car on dirait que les bots ont indexés les pages de recherche du coup ils generent eux même des recherches.