Quels hébergeurs pour des volumes de données importants

KPI · 25 Juin 2013

Bonjour à tous,

Je suis en cours de création d'un portail WEB permettant l'échange d'information en BtoB, dans le secteur de l'automobile.

Il s'agit de permettre à plusieurs utilisateurs d'accéder à des dossiers composés de plusieurs photographies pour une taille moyenne de l'ordre de 10Mo par dossier.

La volumétrie annuelle pourrait atteindre dans un premier temps les 30 000 dossiers (soit un espace de stockage de l'ordre de 300 Go) et pourrait augmenter sensiblement chaque année, pour atteindre plus de 100 000 dossiers par an.

Pourriez vous me conseiller quant aux choix d'hébergement qui s'offrent à nous, (Mutu, serveur dédié?) garantissant une certaine flexibilité pour répondre à la monté en charge du système, tout en garantissant un coût compétitif?

Merci d'avance!

spout · 25 Juin 2013

Un hébergement qui convient pour le site (CMS, traffic, ...).
Et les images dans cloud (Amazon Web Services & Co).

StefouFR · 25 Juin 2013

Bonjour,

un seul hébergeur me vient à l'esprit : o2switch

Il n'y a pas mieux à ce prix là et surtout la qualité y est irréprochable, c'est du vrai illimité (espace ftp, base de donnée, sous-domaine, mail, etc).

jeuneseo · 25 Juin 2013

Bonjour,
je vous conseille de regarder chez Coreye, filiale du groupe Pictime..

Bool · 25 Juin 2013

Hello,

j'aurais tendance à suivre Spout : plutôt que de chercher un hébergement polyvalent, utiliser des services adaptés à chaque besoin peut être une excellente solution.

Solution n°2 : un dédié, avant de remplir les 3To de disque d'un dédié classique il se passera quelques mois, et il sera toujours temps de basculer vers un stockage plus gros / solution différente plus tard.

Solution n°3 : une grosse VM dans le «cloud» avec stockage illimité.

KPI · 26 Juin 2013

Merci pour vos excellents conseils. Je vais contacter ces prestataires de ce pas.

Julia41 · 28 Juin 2013

Pareil que bool en solution 2.
Un petit dédié/truc correct pour ton site, les images/dossiers sur un serveur qui va te servir de stockage, sur un sous domaine en dl01.domain etc... Comme ça tu pourras en rajouter au fur et à mesure.

Après je te conseillerais de commencer sur du mutu pour ton dev.

Attention aux offres illimités, ça n'existe pas (Ou si quelqu'un en trouve vraiment, j'ai quelques centaines de To à y mettre

)

StefouFR · 28 Juin 2013

Julia41 a dit:
Attention aux offres illimités, ça n'existe pas (Ou si quelqu'un en trouve vraiment, j'ai quelques centaines de To à y mettre )

o2switch. http://www.o2switch.fr/

Il n'y a pas mieux en illimité car c'est les seuls à proposer du vrai illimité pour du mutu, 6€ TTC par mois, ndd inclu, hébergé en France, SAV juste énorme niveau qualité, société humaine, c'est simple je n'ai jamais trouvé mieux.
Ils utilisent leurs propres réseaux de bout en bout, ils savent de quoi ils parlent, ils sont 100% transparent, niveau commercial on peut pas faire mieux avec rallonge de la période d'essai, etc.

Quand je parle de o2switch je suis comme un fou, j'oubli tellement de chose bien à dire sur cette hébergeur !! C'est comme faire partie d'une famille en fait !

En plus la gestion du mutu ce fait à partir d'un cpanel, c'est comme si on été sur du dédié, ils peuvent d'ailleurs proposer des semi-dédié et dédié pour ceux qui en on vraiment besoin, mais avant ils te proposent le mutu simple car généralement il suffit très largement, surtout que leurs réseaux est de très bonne qualité et leurs équipements aussi, ça équivaut à du semi-dédié.

Et aussi il réponde ultra vite au problème (par mail, ticket, 24/24 7/7) et par chat (voir les horaires sur leur site).

Enfin o2switch c'est incroyable, je le conseil à tout le monde à chaque fois que j'en ai l'occasion.

Bool · 28 Juin 2013

J'ai aussi de l'illimité si tu veux «Julia», mais c'est 0.28€ HT/mois le Go. Combien de To tu voulais ?

Julia41 · 28 Juin 2013

@StefouFR Bon, faudra que je test, je sais que moi on me dit "illimité", je fais le sournois avec "on va voir combien tu peux prendre"

@Bool :

Code:

2:~# df -h
Filesystem            Size  Used Avail Use% Mounted on
<snip>
/dev/sdb               14T  2.8T   11T  22% /home

Prit hier

Vive le 10Gb/s

Bool · 28 Juin 2013

Code:

# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    39166G     18175G     20991G       53.60

Il me manque encore quelques disques, mais y a de la marge

3ul3r · 29 Juin 2013

StefouFR a dit:
Julia41 a dit:

Attention aux offres illimités, ça n'existe pas (Ou si quelqu'un en trouve vraiment, j'ai quelques centaines de To à y mettre )

Cliquez pour agrandir...

o2switch. http://www.o2switch.fr/

Il n'y a pas mieux en illimité car c'est les seuls à proposer du vrai illimité pour du mutu, 6€ TTC par mois, ndd inclu, hébergé en France, SAV juste énorme niveau qualité, société humaine, c'est simple je n'ai jamais trouvé mieux.
Ils utilisent leurs propres réseaux de bout en bout, ils savent de quoi ils parlent, ils sont 100% transparent, niveau commercial on peut pas faire mieux avec rallonge de la période d'essai, etc.

Quand je parle de o2switch je suis comme un fou, j'oubli tellement de chose bien à dire sur cette hébergeur !! C'est comme faire partie d'une famille en fait !

En plus la gestion du mutu ce fait à partir d'un cpanel, c'est comme si on été sur du dédié, ils peuvent d'ailleurs proposer des semi-dédié et dédié pour ceux qui en on vraiment besoin, mais avant ils te proposent le mutu simple car généralement il suffit très largement, surtout que leurs réseaux est de très bonne qualité et leurs équipements aussi, ça équivaut à du semi-dédié.

Et aussi il réponde ultra vite au problème (par mail, ticket, 24/24 7/7) et par chat (voir les horaires sur leur site).

Enfin o2switch c'est incroyable, je le conseil à tout le monde à chaque fois que j'en ai l'occasion.

o2switch SARL au capital de 7500€. Seriously ?

C'est le genre d'hébergeur qui marche bien ... jusqu'au jour où ça marche plus, et du coup ça ne marche vraiment plus du tout. Pour un projet BtoB avec autant de stockage (et j'imagine autant de kilo €uro derrière ?), j'irai plutôt chez un prestataire pro à la hauteur de tes besoins en terme de ressources financières et humaines... o2switch fait très amateur.

StefouFR · 29 Juin 2013

ça ne veut strictement rien dire et o2switch existe depuis plusieurs années, il suffit de lire les avis pour comprendre la puissance de cette hébergeur qui justement n'a rien d'amateur.

http://www.guide-hebergeur.fr/

Il n'y a plus aucun rapport entre grosse boite, petite société et continuité des services.

Je préfère faire confiance à une société en France, à Clermont Ferrand où je peux même aller voir les infrastructure (qu'on voit aussi sur leur site) plutôt qu'une société en allemagne ou en amerique pour qui je suis un simple compte bancaire.

3ul3r · 30 Juin 2013

StefouFR a dit:
Je préfère faire confiance à une société en France, à Clermont Ferrand où je peux même aller voir les infrastructure (qu'on voit aussi sur leur site) plutôt qu'une société en allemagne ou en amerique pour qui je suis un simple compte bancaire.

Justement, c'est bien ça la différence. Pour un gros projet, j'ai surtout pas envie d'avoir besoin d'aller voir l'infrastructure, j'ai autre chose à foutre de mon temps. J'ai juste envie de payer, et que ça marche tout de suite sans problème et de manière continue. L'infra, c'est leur problème, et je m'en fous de comment ils font tant qu'ils me fournissent un bon service.

Pourquoi tu parles du l'Allemagne ou de l'Amérique ? O2Switch n'est pas le seul hébergeur français hein ..

StefouFR · 30 Juin 2013

Bien évidement que o2switch n'est pas le seul hébergeur français... ici on parle d'hébergeur qui propose un vrai service illimité hein, tu n'as pas du lire tout le topic.
o2switch est le seul hébergeur français à proposer un vrai service illimité. C'est la première chose.

Justement si tu as juste envie de payer et que tout fonctionne il me semble évident de choisir une société tel qu'o2switch qui est une société humaine et sans vague, une société pour qui ton projet sera bien réel, pour qui tu seras une vraie personne et non pas seulement un compte bancaire, pour qui tu ne sera pas juste un espace ftp qu'on pourra supprimer sans raison en donnant comme explication d'aller lire les CGU. C'est la deuxième chose.

C'est quand même fou de cracher sur une société qu'on ne connait absolument pas, seulement parcequ'elle n'est pas connu par monsieur.
Il ne me viendrait pas à l'esprit de critiquer une offre que je n'ai jamais eu perso.
Dans mon cas je me permet de comparer avec 1&1, OVH et o2switch. o2switch est tellement au dessus que c'est deux là.

Pour rappel, pour éviter que tu n'es tout à lire, voici la question de KPI :

La volumétrie annuelle pourrait atteindre dans un premier temps les 30 000 dossiers (soit un espace de stockage de l'ordre de 300 Go) et pourrait augmenter sensiblement chaque année, pour atteindre plus de 100 000 dossiers par an.

Pourriez vous me conseiller quant aux choix d'hébergement qui s'offrent à nous, (Mutu, serveur dédié?) garantissant une certaine flexibilité pour répondre à la monté en charge du système, tout en garantissant un coût compétitif?

Comme tu peux le remarquer ça question soulève plusieurs problèmes futurs.
Ils expliques que son projet va avoir besoin d'un nombre impressionnant de dossier, ici 30 000, mais ça augmentera.
Surement qu'il y aura aussi un très grand nombre de fichier.
Dans ces conditions il est important de proposer un hébergeur qui ne limite pas la présence de dossier et de fichier sur le FTP.
On oubli donc 1&1 et OVH et beaucoup d'autres hébergeurs. Je propose donc o2switch qui ne limite rien.
Il explique en gros qu'il aura besoin d'un maximum d'espace pour héberger son projet, un espace illimité ?! Je propose donc o2switch qui propose une réel solution illimité.

A partir de la je ne comprend vraiment pas tes interventions, tu te permets de critiquer un hébergeur que tu ne connais absolument pas ! Etrange façon de participer au forum.

zeb · 30 Juin 2013

StefouFR a dit:
Ils expliques que son projet va avoir besoin d'un nombre impressionnant de dossier, ici 30 000, mais ça augmentera.

Le souci il est éventuellement là justement car sur un système unix avoir 30000 dossiers mal foutus ou rangés risque de poser un problème technique pour le serveur .... Donc il conviens de se poser la questions de la validité technique du projet en amont car si le truc c'est de créer 30000 sous dossier et de les remplir au final ça va pas coller.

Laisser un client procéder ainsi sur un serveur n'est pas non plu une bonne idée il conviens donc de se poser des questions sur les restrictions qu'imposent certains hébergeurs qui savent très bien pourquoi les limites sont fixées.

Après les déboires d'hébergeurs n'existent qu'en mutu (du moins les déboires classiques mentionnés) hors les mutus sont des infra codifiées justement pour une usage "moyen" et "réfléchi" donc cataloguer un hébergeur vis a vis des dispositions qu'on a du subir n'est pas une bonne idée car il faut prendre en compte toutes les fois ou leur intervention a permis que ton site survive sur un serveur ou un autre client passait la barre.
Pour la suite se retrouver en environnement dédié permet seulement de juger de la qualité d'un service car la partie serveur (soft) est sous ta responsabilité et tout le reste est commun (hard). Bref c'est a ce seul moment ou presque que tu peux dire ça suit ou pas vis a vis de critères comparables pour tous.

En imaginant qu'on passe tous demains sur o2switch, je donne pas longtemps a ce prestataire pour qu'il plante comme certains autres et qu'il rencontre des souci qu'ils na pas rencontré jusque là. Il n'y a pas dans les grands noms connus de bon ou de mauvais il y a juste des compromis qui fonctionnent ou pas.

3ul3r · 30 Juin 2013

zeb résume assez bien la réalité de manière objective je crois.

Désolé si mes interventions te semblaient trop critiques StefouFR, mais en lisant tes messages, je te cite :

StefouFR a dit:
Il n'y a pas mieux à ce prix là et surtout la qualité y est irréprochable, c'est du vrai illimité (espace ftp, base de donnée, sous-domaine, mail, etc).

StefouFR a dit:
Quand je parle de o2switch je suis comme un fou, j'oubli tellement de chose bien à dire sur cette hébergeur !! C'est comme faire partie d'une famille en fait !
Et aussi il réponde ultra vite au problème (par mail, ticket, 24/24 7/7) et par chat (voir les horaires sur leur site).
Enfin o2switch c'est incroyable, je le conseil à tout le monde à chaque fois que j'en ai l'occasion.

J'ai l'impression que tu en fais un peu trop...

StefouFR · 1 Juillet 2013

Tu as eu une mauvaise impression alors, je n'en fais absolument pas trop puisque c'est seulement la réalité des choses.

Pour se permettre d'avoir un jugement il faut avoir testé le service. Dans le cas contraire cela revient à écrire pour écrire. Aucun intérêt.
Moi je juge 1&1, OVH et o2switch, car j'ai testé les 3 pendant plusieurs années. Je n'ai eu aucun problème avec 1&1 et OVH d'ailleurs. Cependant j'explique qu'o2switch est clairement au dessus de ces deux là.
Désolé, mais les autres hébergeurs je ne les connais pas, donc il faudra d'autres avis à KPI pour faire son choix.

@zeb: La seule raison pour la quelle les autres hébergeurs limitent le nombre de fichier et de dossier (même dans les offres illimités) son pour empêcher les utilisateurs d'utiliser réellement le soit disant illimité (dixit technicien 1&1).
Cela n'a strictement rien à voir avec les restrictions qu'imposent certains hébergeurs qui savent soit disant très bien pourquoi les limites sont fixées. Cela n'a aucun rapport avec le système utilisé non plus. Depuis des années les systèmes peuvent traiter des milliards de dossier et de fichier.

La seule question à ce posé c'est est-ce que mon propre code sera utilisable sur un simple mutualisé, un semi dédié, un dédié, une grappe, ou tout autre infrastructure réseau. C'est à l'hébergeur d'expliquer les limites de son réseau et de ses serveurs.
C'est ce que fais o2switch. Non seulement ils mettent à disposition les outils nécessaires pour comprendre les possibilités réseau et serveur, mais en cas de fonctionnement incompatible ils proposent des solutions pour remédier aux problèmes rencontrés.
Personnellement je ne connais pas d'hébergeur qui prend du temps pour travailler avec son client, sur son projet, sur son code, etc... Si vous en connaissez je veux bien les connaitre à mon tour.

o2switch ne vient pas d'être créé tout comme ils n'ont pas seulement 10 clients. Quand o2switch aura autant de client que les gros 1&1 et OVH par exemple, alors ils augmenteront tout simplement leurs capacités, cela s'appel de l'investissement nécessaire et intelligent. Leur mentalité elle ne changera pas.

zeb · 1 Juillet 2013

StefouFR a dit:
Cela n'a aucun rapport avec le système utilisé non plus. Depuis des années les systèmes peuvent traiter des milliards de dossier et de fichier.

Ne confond pas ce qu'il est possible de faire avec un système de fichier et le fonctionnement final de la machine :wink:
Si d'un point de vue théorique tu as raison (sauf sur des vieux système de fichier genre fat 12 a 32 $crosoft), tu peut en effet empiler "sans limites" dossier et fichiers sur un disque dans de mauvaises conditions, en pratique les performances vont très vite se dégrader et cela même si l'OS le permet (je connais surtout Unix et Unix like pas windows).

C'est facile a comprendre car tu as par exemple des fonctions qui vont lire le contenu d'un dossier et elle vont se retrouver mise a mal si tu passe certaines limites même si elles sont théoriquement capables de gérer cette limite.
Bon après moi je te dis cela car j'ai rencontré le problème plus d'une fois et non seulement en local mais aussi en distant et ceci pas que chez un hébergeur précis ... Tu n'est pas obligé de me croire mais c'est pas un dialogue commercial visant a te faire passer a l'offre supérieure.

KPI · 5 Juillet 2013

zeb a dit:
StefouFR a dit:

Ils expliques que son projet va avoir besoin d'un nombre impressionnant de dossier, ici 30 000, mais ça augmentera.

Cliquez pour agrandir...

Le souci il est éventuellement là justement car sur un système unix avoir 30000 dossiers mal foutus ou rangés risque de poser un problème technique pour le serveur .... Donc il conviens de se poser la questions de la validité technique du projet en amont car si le truc c'est de créer 30000 sous dossier et de les remplir au final ça va pas coller.

Laisser un client procéder ainsi sur un serveur n'est pas non plu une bonne idée il conviens donc de se poser des questions sur les restrictions qu'imposent certains hébergeurs qui savent très bien pourquoi les limites sont fixées.

Après les déboires d'hébergeurs n'existent qu'en mutu (du moins les déboires classiques mentionnés) hors les mutus sont des infra codifiées justement pour une usage "moyen" et "réfléchi" donc cataloguer un hébergeur vis a vis des dispositions qu'on a du subir n'est pas une bonne idée car il faut prendre en compte toutes les fois ou leur intervention a permis que ton site survive sur un serveur ou un autre client passait la barre.
Pour la suite se retrouver en environnement dédié permet seulement de juger de la qualité d'un service car la partie serveur (soft) est sous ta responsabilité et tout le reste est commun (hard). Bref c'est a ce seul moment ou presque que tu peux dire ça suit ou pas vis a vis de critères comparables pour tous.

En imaginant qu'on passe tous demains sur o2switch, je donne pas longtemps a ce prestataire pour qu'il plante comme certains autres et qu'il rencontre des souci qu'ils na pas rencontré jusque là. Il n'y a pas dans les grands noms connus de bon ou de mauvais il y a juste des compromis qui fonctionnent ou pas.

Merci pour l'ensemble de ces commentaires, animés mais instructifs. Pour détailler un peu plus notre besoin,notre portail génère un répertoire pour chaque nouveau dossier créé. Chaque dossier est constitué de plusieurs photographies et "pèse" aux alentours de 10Mo.
Le nombre de dossiers créé par mois devrait avoisiner les 5-10 000 à moyen terme. La durée de vie moyenne d'un dossier est de 2 mois, ensuite il sera nécessaire de l'archiver.
Je suis très "surpris" de la tarification d'o2switch car elle très très inférieure à ce que peut proposer d'autres hébergeurs : OVH, NFrance, Infomaniak, ...etc.

zeb · 5 Juillet 2013

KPI a dit:
Le nombre de dossiers créé par mois devrait avoisiner les 5-10 000 à moyen terme. La durée de vie moyenne d'un dossier est de 2 mois, ensuite il sera nécessaire de l'archiver.

en l'état ça implique qu'un contenant "actif" (dossier) va avoisiner les 20 000 sous dossiers en charge ... Le système peut tenir le coup c'est pas un souci comme dit plus haut on est largement dans les limites que l'OS impose (si c'est pas W95

) cependant il est bon de réfléchir au opérations qui vont se passer la dessus.

Ensuite la notion d'archivage me fait penser qu'un autre contenant "archive" (autre dossier) va recevoir une copie des dossier ou un simple fichier zippé et que cela va se cumuler ... au bout d'un an on a donc 10 mois d'archivage donc entre 50 000 à 100 000 fichiers (zip) ou sous dossiers archivés ....

A ce stade je réfléchie même pas et je commence dès le départ a penser "structuration" pour l'archive et peut être même pour le contenu actif.

Je ne connais la nature des datas manipulées mais il est parfois simple de créer des sous-dossiers en fonction d'une des datas manipulées. si je prend par exemple les dates, il est facile de penser a une structure "archive/année/moi/jour/" et "actif/année/moi/jour/" pour les datas en cours.

5000 dossiers par moi représente env 170 dossiers jours voir le double pour la fourchette haute donc c'est très gérable par le système et pratique en manuel.

Si on abaisse la structuration au mois il faut compter entre 5 000 et 10 000 unités de données par dossier et là même en ftp a la main ça commence a être chiant.

D'autres datas peuvent servir de support a la structuration, perso j’utilise un md5 de ma donnée principale et ma structure est décomposée en 16 sous dossiers (0..9,a...f) qui comprennent eux même 16 sous dossiers et idem a un 3e niveau ... (4096 sous-dossier imbriqués dans un unique dossier)
A titre d'exemple pour mon cache j'utilise l'url (sans le domaine) de la page comme data référence, la home est donc le hash md5 de "/" soit "6666cd76f96956469e7be39d750cc7d9" qui est de fait enregistré sur le disque dans le dossier : "/cache/6/6/6/"

Dans ton cas où tu va brasser approximativement 120 000 fichiers ou dossier par an une structuration de ce type te donne en moyenne une trentaine de data par dossier (en imaginant une répartition régulière) ce qui te laisse une trentaine d'année d'usage si on fixe la limite a 1000 datas par dossier. Bref largement le temps qu'on passe a autre chose.

StefouFR · 6 Juillet 2013

KPI a dit:
Merci pour l'ensemble de ces commentaires, animés mais instructifs. Pour détailler un peu plus notre besoin,notre portail génère un répertoire pour chaque nouveau dossier créé. Chaque dossier est constitué de plusieurs photographies et "pèse" aux alentours de 10Mo.
Le nombre de dossiers créé par mois devrait avoisiner les 5-10 000 à moyen terme. La durée de vie moyenne d'un dossier est de 2 mois, ensuite il sera nécessaire de l'archiver.
Je suis très "surpris" de la tarification d'o2switch car elle très très inférieure à ce que peut proposer d'autres hébergeurs : OVH, NFrance, Infomaniak, ...etc.

Ton projet sera donc parfaitement adapté pour o2switch.

C'est bien que tu sois aller voir de toi même le site d'o2switch pour te rendre compte des détails et du tarif.
Comme tu peux le voir tu ne trouveras pas mieux actuellement.
Après pour les commentaires il est toujours facile de critiquer tel ou tel hébergeur. Moi je me contente de faire une critique des 3 hébergeurs que j'ai utilisé le plus (1&1, OVH et o2switch).

Pour o2switch on ne peut pas le critiquer sans connaitre l'état d'esprit de cette société. C'est tout simplement incomparable à une autre société. C'est un hébergeur à part.

Test et fait moi un retour. Tu as la période d'essai de toute façon. Je sais déjà que tu seras satisfait par leurs savoirs faires et leurs mentalités très professionnel.
Chez o2switch tu fais partie d'une famille, tu n'es pas juste un compte bancaire.

Steph.