1&1 et Erreurs 500 à répétition

dubsharry31 · 8 Janvier 2014

Bonjour à tous,

Je dispose d'un hébergement mutualité "1&1 Unlimited plus" sur lequel j'ai une poignée de sites et je rencontre des soucis récurrents d'erreur 500 provoquant l'indisponibilité simultanée de tous les sites hébergés sur ce compte.
J'avais déjà eu ce problème en Septembre (il y a 3 mois) et un appel à la hotline avait abouti à un upgrade pour passer de "Unlimited" à "Unlimited plus". La raison évoquée était une trop grosse consommation mémoire et cette mise à niveau allait régler le problème. Ce fût le cas pendant 2 mois. Depuis quelques semaines j'ai de nouveau de plus en plus d'erreurs 500 qui rendent tous mes sites inaccessibles aléatoirement ou pendant quelques minutes.

Pour information, ces sites ont au total au maximum 15000 visites/jour pour 35000 pages vues. Avec à peu près la moitié de ce traffic sur un site en particulier. A savoir que tous les sites sont en PHP, optimisés au mieux avec un système de cache et peu de requêtes SQL (2/3 tout au plus par page) sur des bases de 3 Mo maximum.

Les différents contacts avec le support technique à propos de ces erreurs 500 concluent tous que mes sites sont trop gourmands, consomment trop de ressources, et surtout ont trop de visites simultanées (sans me dire combien). Google Analytics me donne des pics de 15 visiteurs pas plus!!!
Bien entendu, ils me proposent la solution qui résoudra tous ces problèmes: upgrader pour un hébergement dédié L4 à 84 €/mois !!!

Une seule question: qu'en pensez vous ???

Merci de votre aide,

Harold

zeb · 8 Janvier 2014

Même situation, mêmes chiffres même constat. ça a commencé au dernier trimestre 2013 ... :mrgreen:
Perso je bouge pas j'ai codé un truc pour alléger la conso image ça aide beaucoup (je chargeais beaucoup a ce niveau). J'ai aussi viré pas mal de bots qui consommaient pour rien. Il semble que leurs serveurs soit devenu moins permissifs depuis les changements de version php qui ont induit une grosse refonte de leur architecture en début d'année 2013.

ça me gonfle j'ai pas envie de passer sur un dédié pour ça car c'est même pas certains que j'aurais mieux.

FortTrafic · 9 Janvier 2014

Ces problèmes sont derrière moi depuis que j'ai quitté 1and1 et leur service client de l'enfer.
Voilà un début de solution.. Mais si tu n'envisages pas d'aller ailleurs, alors bon courage.

dubsharry31 · 9 Janvier 2014

zeb a dit:
... J'ai aussi viré pas mal de bots qui consommaient pour rien....

Tu peux développer ? As tu simplement utilisé robots.txt pour limiter leurs accès? J'ai lu par ci par là que certains se moquent royalement de ce fichier...

dubsharry31 · 9 Janvier 2014

FortTrafic a dit:
Ces problèmes sont derrière moi depuis que j'ai quitté 1and1 et leur service client de l'enfer.
Voilà un début de solution.. Mais si tu n'envisages pas d'aller ailleurs, alors bon courage.

Bien entendu, j'étudie toutes les solutions et je ne vais pas m'obstiner avec une société aussi peu regardante avec ses clients les plus fidèles (je suis chez eux avec plusieurs contrats depuis 2008).
Pour le moment, j'attends d'eux qu'ils me disent ce qui ne va pas et pas simplement:

Comme nous vous l'avons indiqué dans un précédent mail, l'ensemble de vos sites subit une moyenne de 11000 visiteurs quotidiennement.
Il faut savoir qu'un hébergement mutualisé ne peut pas supporter autant de visites simultanées du fait que vous n'êtes pas le seul client sur le serveur, les ressources étant partagées.
Dans votre cas, seul le nombre de connexions simultanées autorisé est dépassé.

Visiblement, pour eux 11000 (ou 15000 peu importe...) visites quotidiennes sont des visites simultanées !!!
En plus, pour moi les visites sont reparties tout au long de la journée et même de la nuit pour certains sites qui ont des visiteurs outre-atlantique...

zeb · 9 Janvier 2014

dubsharry31 a dit:
J'ai lu par ci par là que certains se moquent royalement de ce fichier...

oui c'est une cata le web niveau respect des règles ... j'utilise même pas. Je les vire via htaccess. j'ai un script qui me donne tous les jours le nombre de pages consultées par IP avec : le nombre donc, l'IP et le User Agent. En dessous de 50 pages consultés c'est disons normal (gros visiteurs, ça arrive car j'ai pas mal de contenu même si c'est pas un profil forum comme site) mais au dessus de 100 je fait bien attention au user agent ET a l'ip (il y a des petits malins qui s'annoncent comme un bot bing ou google sur une plage ip qui n'appartiens pas a ces moteurs).

Quand je repère un gros consommateur je fait appel a un autre script qui me donne son id de session par ip. Les bots ne gérant pas les cookies n'ont jamais le même numéro de session a chaque page (l'internaute normal oui). a contrario ils suivent souvent une logique de navigation mécanique (toutes les pages liés sur la home a la suite par exemple et un temps précis entre chaque page). Si c'est un bot après un rapide regard sur le quoi et le comment (agrégateur, site "SEO pourri", compteur de liens, serveur OVH ou autre qui n'a rien a voir avec un internaute, etc ...) Je ban via htaccess.

Je me fait au passage les caches web que j'arrive a identifier car j'aime pas qu'on profite de mon contenu.

Code:

	order allow,deny
	deny from 46.119.117.28
	deny from 62.75.216.96
	deny from 117.199.135.138
	deny from 37.187.73.205
	deny from 188.165.252.60
	deny from 110.210.22.80
	deny from 50.97.55.7
	deny from 67.214.230.119
	deny from 92.154.97.64
	deny from 81.249.72.86
	deny from 50.87.146.133
	deny from 5.9.41.215
	deny from 110.89.12.237
	deny from 84.19.190.55
	deny from 27.159.252.21
	deny from 84.14.214.213
	deny from 208.43.225.85
	deny from 208.43.225.84
	deny from 69.197
	deny from 142.54
	deny from 80.203.25.72
	deny from 123.151.39.43
	deny from 59.92.84.246
	deny from 190.149.96.101
	deny from 190.56.102.138
	deny from 220.225.218.66
	deny from 201.55.32.83
	deny from 187.60.36.137
	deny from 187.60.38.70
	deny from 187.74.150.114
	deny from 123.238.84.94
	deny from 177.182.220.229
	deny from 164.100.96.254
	deny from 180.215.116
	deny from 95.142.162.100
	deny from 75.98.9.254
	deny from 177.32.95.183
	deny from 115.242
	deny from 115.241
	deny from 190.115.12.130
	deny from 101.63.252.161
	deny from 101.63.253.214
	deny from 94.153.64.11
	deny from 91.207.6.34
	deny from 46.118.119.252
	deny from 1.22.137.238
	deny from 188.92.76.167
	deny from 46.118.117.249
	deny from 82.225.157.16
	deny from 198.211.124.200
	deny from 192.31.21.179
	deny from 92.139.122.51
	deny from 79.51.155.71
	deny from 81.144.138.34
	deny from 178.63.13.147
	deny from 90.35.109.151
	deny from 195.42.102.21
	deny from 38.107.179
	deny from 88.163.71.238
	deny from 41.201.220.95
	deny from 69.13.39.43
	deny from 92.134.17.103
	deny from 46.109.197.17
	deny from 195.221.21
	deny from 92.249.127.111
	deny from 193.106.136
	deny from 110.85.115
	deny from 178.137
	deny from 78.8
	deny from 78.9
	deny from 213.186.127
	deny from 213.186.119
	deny from 212.113.37
	deny from 212.113.35
	deny from 196.217.239.177
	deny from 173.208.23.154
	deny from 173.208.44.30
	deny from 85.17.29.107
	deny from 109.120.156.118
	deny from 213.110.133.221
	deny from 46.4.95
	deny from 62.219.8
	deny from 217.128.139.44
	deny from 195.42.102.25
	deny from 208.115.113.83
	deny from 208.115.111.67
	deny from 208.115.111.66
	deny from 107.22.11.75
	deny from 77.75.77.11
	deny from 184.73.88.78
	deny from 50.16.28.100
	deny from 23.20.61.69
	deny from 50.16.10.205
	deny from 50.16.168.181
	deny from 50.17.79.158
	deny from 67.202.63.50
	deny from 107.20.71.0
	deny from 107.21.141.193
	deny from 107.21.162.140
	deny from 107.21.172.94
	deny from 107.22.5.130
	deny from 107.22.44.202
	deny from 107.22.89.170
	deny from 107.22.148.96
	deny from 107.22.150.199
	deny from 174.129.54.230
	deny from 184.72.128.94
	deny from 184.73.34.125
	deny from 84.198.69.225
	deny from 92.39.50.53
	deny from 107.20.69.233
	deny from 195.132.109.17
	deny from 94.228.34.208
	deny from 61.111.15.90
	deny from 66.219.58.38
	deny from 61.111.15.80
	deny from 77.75.77.17
	deny from 38.111.147.83
	deny from 46.236.95.190
	deny from 108.59.8.70
	deny from 89.145.95.2
	deny from 78.116.61.24
	deny from 192.100.120.41
	deny from 111.13.8.92
	deny from 176.9.51.133
	deny from 91.207.4.186
	deny from 178.137.5.24
	deny from 178.137.5.8
	deny from 46.119.118.178
	deny from 91.207.9.226
	allow from all

#
#	banissement via user agent
#

	RewriteCond %{HTTP_USER_AGENT} .*msnbot-media.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*trendiction.de.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*admantx.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*exabot.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*majestic12.co.uk.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*metadatalabs.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*proximic.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*picsearch.com.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} .*sistrix.net.*
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "EC2LinkFinder"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "EasouSpider"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "Java/1.4.1_04"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "Java/1.6.0_29"
	RewriteRule .* - [F,L]
	
	RewriteCond %{HTTP_USER_AGENT} "Java/1.7.0_15"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "GSLFbot"
	RewriteRule .* - [F,L]

	RewriteCond %{HTTP_USER_AGENT} "TurnitinBot/2.1"
	RewriteRule .* - [F,L]
	
	RewriteCond %{HTTP_USER_AGENT} .*AppEngine.Google.*
	RewriteRule (.*) http://search.yahoo.com/search?p=trou+du+cul [L]

Avec ça j'arrive a gagner quelques milliers de pages chaque jour car il y en a qui ont aucun scrupules et qui sont totalement inconscients de leur impact carbone sur mon écosystème.

Mais bon c'est pas la dessus que le gain est important. Je gère surtout du cache d'output ça aide énormément donc comme toi je fait une ou deux requête max par page et je n'ai pas de temps de calcul. Ces derniers j'ai travaillé sur ce système de gestion d'image pour virer mon script qui les générais systématiquement a la volée. Je dois dire que depuis que j'ai mis ça en place les 500 on grandement chuté j'en ai plu qu'entre 3/4 tous les 2/3 jours vue de chez GG a la place d'environ 30/40 vue par GG en fin d'année (nota le script d'image n'est pas la version en prod le sujet est juste une piste a suivre pour faire un truc adapté).

Bref ça n'arrange pas le souci 1&1 qui semble être de leur fait (un top en SSH me dit que j'ai pas de souci mémoire) mais ça m'a permis de passer sous la barre critique

dubsharry31 · 9 Janvier 2014

Merci Zeb pour tes précieux conseils. Je vais déjà essayer de limiter le traffic de ces vilains bots (rien que 3000 pages par jour pour AhrefsBot

).

zeb · 9 Janvier 2014

dubsharry31 a dit:
rien que 3000 pages par jour pour AhrefsBot

Quand je pense qu'on râle avec les gens qui laissent la lumière allumée en sortant d'un pièce, t'imagine là le nombre d'équipements qui sont sollicités pour choper une pauvre page web ... Bref la dépense d'énergie que ça représente ... Sur ce je vais arrêter de blablater lol

Lui c'est un grave ahrefs, ça fait un moment que je lui ai taillé une veste sur mesure :lol: