Question Pourquoi le stockage d'entreprise est-il si cher?


C'est un Question canonique sur le coût du stockage d'entreprise.
  Voir aussi la question suivante:

En ce qui concerne des questions générales telles que:

  • Pourquoi dois-je payer 50 dollars par mois par gigaoctet de stockage supplémentaire?
  • Notre serveur de fichiers manque toujours d'espace, pourquoi notre administrateur système ne se contente-t-il pas de lancer un disque supplémentaire de 1 To?
  • Pourquoi les équipements SAN sont-ils si chers?

Les réponses ici tenteront de fournir une meilleure compréhension du fonctionnement du stockage de niveau entreprise et de ce qui influence le prix. Si vous pouvez développer la question ou donner un aperçu de la réponse, merci de poster.


106


origine


Fermez les questions "Pourquoi le stockage est-il si cher?" Et pointez-les ici. - Mark Henderson♦
Il ne s’agit pas d’un forum publicitaire pour tous ceux qui ont trouvé des fournisseurs bon marché. Il s’agit de définir les coûts "cachés" du stockage de niveau entreprise. - Mark Henderson♦
Référence obligatoire de BOFH ("J'ai besoin de plus d'espace!"): bofh.ntk.net/BOFH/0000/bastard01.php - Massimo
Jim Salter a publié une analyse de cette situation en proposant le blog Calculateur de stockage déprimant. En bout de ligne: il faut approvisionner entre 10 et 25 fois la quantité de stockage visible par l'utilisateur final souhaité, en fonction des hypothèses et des exigences. - α CVn


Réponses:


  1. Les capacités des disques durs du serveur sont infimes, comparées aux capacités des disques durs de bureau. Des tailles de 450 et 600 Go ne sont pas inhabituelles à voir dans de tout nouveaux serveurs, et vous pouvez acheter de nombreux lecteurs de bureau SATA de 4 To pour le prix de un Disque dur SAS (serveur) de 600 Go.

  2. Votre disque dur SATA dans votre ordinateur de bureau à la maison ressemble à une muscle car de Ford, GM, Mercedes ou tout autre fabricant de voitures pour tous les jours (grande capacité V8 ou V12, 5 ou 6 litres). Parce qu'ils ont besoin d'être conduits par des personnes qui n'ont pas de licence de course ou qui ne comprennent pas le fonctionnement d'un moteur à combustion interne, ils ont de très grandes tolérances. Ils ont des limiteurs de régime, ils sont conçus pour fonctionner avec de l'huile d'une certaine classe, ils ont des intervalles de maintenance de 10 000 km, mais si vous ratez un intervalle de maintenance de quelques semaines, il ne vous explose pas. Ils ne prennent pas feu lorsque vous conduisez sur de longues distances.

    Le lecteur SAS d'un serveur s'apparente davantage à un moteur de formule 1. Ils sont vraiment petits (2,4 litres) mais ont une puissance de sortie immense en raison de leurs tolérances minimes. Ils ont un régime plus élevé et n’ont souvent pas de limiteur de régime (ce qui signifie qu’ils subissent des dommages graves s’ils sont mal conduits), et si vous manquez un intervalle d’entretien (ce heures) ils explosent.

    Vous comparez essentiellement la craie et le fromage. Les chiffres et une ventilation complète sont abordés dans le livre blanc d'Intel Disques durs de classe entreprise ou de bureau

  3. Parlons des chiffres difficiles ici. Supposons que vous demandiez 1 Mo de données supplémentaires (un bon nombre rond). Combien de données est-ce vraiment? Eh bien, votre 1 Mo de données va aller dans une matrice RAID. Disons qu'ils sont en sécurité et en font un RAID1. Votre 1 Mo de données est mis en miroir, il s'agit donc de 2 Mo de données.

    Supposons que vos données se trouvent dans un SAN. En cas de défaillance d'un nœud SAN, vos données sont synchronisées au niveau octet sur un deuxième nœud SAN. Donc, c'est dupliqué, et votre 2 Mo de données est maintenant de 4 Mo.

    Vous vous attendez à ce que votre fournisseur conserve des sauvegardes sur site afin que vos données puissent être restaurées en cas d'urgence? Tout fournisseur digne de ce nom va vous fournir au moins une sauvegarde sur site, voire plus. Supposons qu'ils prennent des instantanés une fois par semaine pendant trois semaines sur place. Cela représente 3 Mo de données supplémentaires, vous êtes donc maintenant à 7 Mo.

    En cas de sinistre critique, votre fournisseur aurait intérêt à en conserver une copie hors site quelque part. Même s'il a un mois, il devrait exister. Alors maintenant, vous êtes à 8MB.

    S'il s'agit d'un fournisseur de très haut niveau, il se peut même qu'un site de récupération après sinistre soit synchronisé en direct. Ces disques seront également mis en RAID, ce qui représente 2 Mo supplémentaires. Vous disposez donc de 10 Mo de données.

    Vous devrez éventuellement transférer ces données. Quoi? Le transférer? Oui, le transfert de données coûte de l'argent. Cela coûte de l’argent lorsque vous le téléchargez, que vous y accédez par Internet, voire même de l’archiver (quelqu'un doit sortir ces cassettes du bureau, et il se peut que votre 1 Mo de données signifie qu’elles doivent acheter un disque supplémentaire). ensemble de bandes et les transférer quelque part).

  4. Lorsque votre disque dur SATA tombe en panne, vous pouvez appeler le support technique pour le convaincre que votre disque est mort. Envoyez ensuite votre lecteur au fabricant (à votre compte la plupart du temps). Attends une semaine. Récupérez un disque de remplacement et réinstallez-le (il n’est presque certainement pas remplaçable à chaud ni déjà dans un chariot de lecteur).

    Lorsque ce lecteur SAS tombe en panne, appelez le support technique. Ils ne remettent presque jamais en question votre opinion selon laquelle le lecteur doit être remplacé immédiatement et expédient directement un nouveau lecteur. généralement, le nouveau disque est livré plus tard le même jour, sinon le lendemain est également très courant. Généralement, le fabricant enverra un représentant installer le lecteur si vous ne savez pas comment (très pratique si vous prévoyez de prendre des vacances et que vous avez besoin de choses pour continuer à travailler pendant votre absence).

  5. Les lecteurs d'entreprise ont des tolérances strictes (voir le point 2 ci-dessus) et ont tendance à durer environ 10 fois plus longtemps que les lecteurs de qualité grand public (MTBF). Les disques d'entreprise prennent presque toujours en charge la détection avancée des erreurs et des défaillances, selon un rapport Google, environ 40% du temps, mais c'est ce que tout le monde préférerait voir mourir d'un ordinateur.

    Lorsque vous avez un seul lecteur dans votre ordinateur à la maison, ses chances statistiques d’échec sont simplement celles du lecteur. Auparavant, les disques étaient classés en MTBF (où les disques SAS bénéficient toujours d'au moins 50% d'évaluation ou plus), il est désormais plus courant de voir les taux d'erreur. Un lecteur SAS typique est 10 à 1 000 fois moins susceptible d'avoir une erreur irrémédiable (100 fois la plus courante que j'ai trouvée récemment). (taux d'erreur selon la documentation du fabricant fournie par Seagate, Western Digital et Hitachi; absence de partialité; renoncer expressément à l'indemnisation).

    Les taux d'erreur sont particulièrement importants, non pas lorsque vous rencontrez une erreur irrémédiable sur un lecteur, mais lorsqu'un autre lecteur du même module tombe en panne et que vous ne comptez pas sur tous les lecteurs d'un module pour être lisibles afin de récupérer le disque défectueux.

  6. SAS est un dérivé de SCSI, qui est un protocole de stockage. SATA est basé sur ATA, qui est lui-même basé sur le bus ISA (ce bus 8/16 bits dans les ordinateurs de l’âge des dinosaures). Le protocole de stockage SCSI dispose de commandes plus complètes pour optimiser la manière dont les données sont transférées des lecteurs aux contrôleurs et inversement. Cette amélioration de l’efficacité rendrait un lecteur SAS, par ailleurs identique, intrinsèquement plus rapide, en particulier sous des charges de travail extrêmes, qu’un lecteur SATA; cela augmente aussi le coût.

  7. Il y a moins de disques SAS produits, les économies d'échelle dictent qu'ils seront plus chers, toutes choses étant égales par ailleurs.

  8. Les disques SAS ont généralement une vitesse de rotation de 10 ou 15 000 vitesses; tandis que SATA vient généralement en 5.4k ou 7.2k. Les disques SAS, en particulier ceux de 2,5 pouces qui deviennent de plus en plus populaires, ont des temps de recherche plus rapides. Les deux combinées augmentent considérablement le nombre d'E / S qu'un lecteur peut exécuter, généralement un disque SAS est environ 3 fois plus rapide. Lorsque plusieurs utilisateurs exigent des données disparates, les I / S la capacité du lecteur / de la matrice devient un indicateur de performance critique.

  9. Les lecteurs d'un centre de données sont généralement alimentés en permanence. Des études ont montré que les pannes de disque sont influencées par le nombre de cycles de chauffage / refroidissement qu’il exécute (entre fonctionnement et arrêt). Le fait de les laisser fonctionner tout le temps augmente généralement la durée de vie du lecteur. La conséquence est que les disques consomment de l'électricité. Cette électricité doit être alimentée par quelque chose (dans le cas d'un gros DC, les disques peuvent à eux seuls consommer plus d'énergie qu'un petit quartier de maisons). Ils doivent également dissiper cette chaleur quelque part, ce qui nécessite des systèmes de refroidissement (qui nécessitent eux-mêmes davantage de puissance pour fonctionner).

  10. Coûts d'infrastructure et de personnel. Ces lecteurs sont des unités NAS ou SAN haut de gamme. Ces unités sont chères, même sans les disques coûteux qu'elles contiennent. Ils ont besoin de personnel coûteux pour les déployer et les entretenir. Les bâtiments dans lesquels se trouvent ces unités NAS et SAN coûtent cher à exploiter (voir la remarque sur le refroidissement ci-dessus, mais il y en a beaucoup plus). Le logiciel de sauvegarde n'est généralement pas gratuit (pas plus que les licences pour la mise en miroir). et le personnel chargé du déploiement et de la maintenance des sauvegardes sont généralement coûteux également. Le coût de la location de stockage et de stockage de bandes hors site n’est que l’un des nombreux facteurs qui commencent à s’empiler lorsque vous avez besoin de plus de stockage.

En gardant à l'esprit que la capacité de leurs disques peut être égale à 1 / 10e de celle d'un disque de bureau et que son prix est cinq fois supérieur, votre 1 Mo de données est en réalité de 10, et toutes les autres différences, vous ne pouvez en tirer aucun résultat significatif. conclusions entre le prix de votre stockage de bureau et le prix du stockage de niveau entreprise.


115



De nos jours, les disques SAS / SATA 7,2K de 2 à 4 To sont utilisés pour le stockage de masse, de sorte que certaines de ces opérations ne s'appliquent plus universellement. - Mircea Chirea
@MirceaChirea Les disques 2-4 To utilisés dans le stockage d'entreprise sont des systèmes NL ou ML SAS et sont différents des disques SATA 2-4 To. Le prix par Go est toujours très différent entre les deux plates-formes. - MDMarra
@MDMarra, la plupart ne sont guère plus différentes de leurs variantes de bureau: outre SAS, elles sont mieux garanties et plus fiables. - Mircea Chirea
Ils sont spécifiés pour une utilisation 24x7 où plus Les disques SATA ne le sont pas. Ils échouent également avec grâce et ne seront pas accrocher l'ensemble de votre matrice RAID. Seuls les disques SATA prenant en charge TLER échoueront normalement et éviteront cela. Il n’existe pas non plus de disques SATA à deux ports, alors que les systèmes SAS à deux ports sont courants et permettent un basculement transparent des contrôleurs. Encore une fois, si votre budget est restreint, SATA peut être votre seul choix, mais il existe des différences considérables qui préoccupent les entreprises entre NL-SAS et SATA. - MDMarra
Flamboiement dit sur leur blog que les lecteurs d'entreprise n'étaient pas moins susceptibles d'échouer que les lecteurs grand public - Bert


Je n’ajoute pas ceci à la réponse CW la plus élevée, principalement parce que c’est une divergence d’opinion. N'hésitez pas à fusionner / modifier ceci si vous le souhaitez.

Souvent, le stockage "au niveau de l'entreprise" est si coûteux que le demandeur ne comprenne pas l'exigence, mais parfois l'administrateur système ne comprend pas l'exigence, ne peut pas communiquer l'exigence à une personne ayant le pouvoir d'achat ou ignoré par ladite autorité.

Des baies de stockage standard hautes performances, hautement disponibles et nécessitant peu d’entretien sont coûteux. Une partie du travail d'un concepteur de système consiste à savoir où ils sont appropriés et dans quels cas une conception différente est appropriée.

Je ne pense pas que les coûts relatifs des différents types de lecteurs de disque soient réellement pertinents pour l'une ou l'autre des questions.

Pourquoi dois-je payer 50 dollars par mois   par gigaoctet supplémentaire de stockage?

Ceci est clairement adressé à un fournisseur de services quelconque. Les deux réponses possibles à mon esprit sont:

  1. Vous avez un temps de disponibilité de 24 heures sur 24, 7 jours sur 7, à Manhattan / Londres / Hong Kong. Les plateaux rotatifs ne sont qu'une petite partie de la pile pour laquelle vous payez.

  2. Vous payez trop. Négociez, changez de fournisseur ou apportez-le chez vous.

Notre serveur de fichiers manque toujours d'espace, pourquoi notre administrateur système ne se contente-t-il pas de lancer un disque supplémentaire de 1 To?

C'est presque certainement un mauvais dessein (et probablement pour des raisons politiques). Les données sur ce serveur de fichiers se situent quelque part dans ce spectre:

  • Les données méritent d'être stockées dans une configuration haute performance, hautement disponible et coûteuse. Les temps d'arrêt causés par une insuffisance d'espace affectent votre haute disponibilité et constituent un échec de la conception ou de la planification.

  • Les données sont soit sans importance, soit des performances lentes ou des temps d'arrêt plus longs sont acceptables. Les disques et les solutions de sauvegarde bon marché sont acceptables. Les temps d'arrêt normaux dus au manque d'espace disque semblent toujours être un compromis étrange, car la majorité de vos coûts dans ce cas vont probablement être votre temps administrateur système, et à long terme, ils passeront plus de temps à résoudre les problèmes de disque faible espace.

Notez que j'ai dit qu'il s'agit d'un spectre et que la plupart des exigences se situent quelque part entre les deux.


31



Il est intéressant de noter que ce qui est du point de vue de l'utilisateur "à court d'espace" peut être "remplir votre quota" du point de vue de l'administrateur système. - Richard Gadsden


Le coût de production d'un article est directement lié au volume d'unités qu'il vendra dans une boucle de rétroaction.

Dans le cas d'un disque dur classique, avec du verre rouillé rouillé et de l'électronique, le coût des composants mécaniques et électroniques peut varier énormément - 2 bandes de prix / qualité claires sont toutefois apparues - Enterprise et Commodity.

Cependant, le volume de vente réduit d'une unité de production pèse lourdement sur le rendement de votre argent. Un coût sept fois supérieur ne sera pas sept fois meilleur.

Les unités d'entreprise (pour une capacité donnée) sont légèrement plus rapides que les unités de produits de base, par exemple Comparaison des disques Seagate Barracuda SATA (marchandise) et Cheetah SAS (entreprise):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Toutefois, dans un contexte d'entreprise, aucun administrateur système sensé ne stockerait jamais des données importantes sur un seul disque. L'utilisation de plusieurs disques offre une fiabilité et une bande passante supérieures et réduit efficacement le temps de latence. Quatre des disques Barracuda configurés en RAID10 seront beaucoup plus rapides que le disque simple Cheetah, avec un risque de perte de données beaucoup moins important, à environ 60% du prix.

Vous obtiendrez certainement une meilleure garantie avec le lecteur Enterprise et le fournisseur sera généralement en mesure de vous en procurer une le jour même - mais vous pourrez probablement trouver un lecteur de marchandise auprès d'un fournisseur local plus rapidement que votre fournisseur ne le peut. messagerie sur le disque de remplacement. D'autre part, le disque d'entreprise est plus susceptible de remplacer exactement le lecteur en panne.

Alors peut-être obtenez-vous beaucoup plus de fiabilité des lecteurs d'entreprise? Même si les fabricants et vendeurs de disques le disent souvent (Seagate n’en parle pas beaucoup sur leur site web, mais même les chiffres obscurs qu’ils publient montrent que c’est moins qu’un facteur 2). Des études indépendantes suggèrent qu'il y a pas de différence significative.

Le jeu de commandes SCSI présente certains avantages techniques par rapport au jeu de commandes ATA, notamment pour permettre au système d’exploitation de savoir exactement ce qui est engagé sur le disque. Toutefois, cela ne change en réalité que l’efficacité et la fiabilité d’un système de fichiers. mis en œuvre sur un seul disque.

Si votre fournisseur de services exploite un réseau SAN Fibre Channel, le coût par gigaoctet de stockage sera au moins 8 fois supérieur à celui que vous achetez un disque sur étagère dans votre magasin de matériel le plus proche. Mais il y a autres approches ce qui peut faire baisser considérablement le coût.

Notez que cela ne coûtera jamais moins cher que d'acheter un disque sur étagère, car vous payez également pour la redondance, l'électricité, la climatisation et le support, mais ces coûts devraient être minimes par rapport au coût de la fourniture de stockage.


6





Je suis d'accord avec les autres articles sur la qualité de l'offre d'une société d'hébergement. Mais nous avons récemment refait notre contrat d’hébergement et avons effectué des achats sans que personne ne soit compétitif en termes d’espace de stockage, et les prix n’étaient pas plus bas que ceux de notre précédent contrat de 3 ans. Le prix des disques SAS, le nombre de disques / baies / SAN / FC / commutateurs ont baissé, le prix a baissé. Mais pas de stockage sur disque?

Un collègue avec beaucoup plus d'expérience a souligné la tactique. Le prix de la CPU, de la mémoire et de la bande passante était éblouissant! Inscrivez-vous ici! Inscrivez-vous maintenant et ignorez ce problème d'espace disque! Vous n'aurez pas besoin de beaucoup d'espace disque. Regardez le processeur et la mémoire!

Une fois que vous vous êtes engagé dans leur contrat, ils vous ont vraiment eu et ils constituent leurs revenus sur l’espace disque. Oui, il s’agit de RAID-5 et de hautes performances, etc., mais les sauvegardes coûtent plus cher, la réplication hors site coûte plus cher.

Pour les hébergeurs, c'est un modèle économique. La plupart des entreprises font de même avec leurs prix - réduisez ce prix ici, mais augmentez-le pour calculer leurs revenus ailleurs. Ils doivent également payer leur loyer et leurs salaires.

Pour les serveurs internes, vous avez différents problèmes. Vous ne pouvez pas simplement entrer dans une salle de serveur avec le boîtier Fedex qui contient votre nouveau disque dur de 3 To. Si vous avez prévu une extension, c'est plus facile, mais les serveurs / racks / baies peuvent déjà être à leur capacité en termes de logements, d'E / S, de cartes contrôleur, d'alimentation.

C'est comme regarder sous un rocher, vous serez surpris de ce que vous pourriez trouver.


5



Le coût des disques diminue peut-être, mais la main-d'œuvre augmente. Les dépenses d’exploitation ne représentent pas la plus grande partie du coût total de possession. - Chris S


Il est également important de noter que le stockage «local» pourrait bien coûter plus cher que prévu.

Dans le cadre d'un exercice visant à déplacer certaines de nos données «archivées» vers le cloud, j'ai récemment achevé un exercice de tarification comparant le coût de l'espace disque disponible (par exemple formaté plutôt que brut) disponible sur notre dernier SAN par rapport au coût du stockage. dans le service de données en nuage Amazon.

Considérant simplement le prix payé pour le SAN lui-même, y compris les disques, en supposant une durée de vie de 5 ans pour le matériel SAN, et ne pas Pour les frais généraux d’exploitation de notre salle de serveurs, notre prix pour 150 Go de stockage local est de 31,88 USD par mois contre 28,41 USD pour Amazon (dans l’hypothèse d’un taux de trafic mensuel de 20% de haut en bas).

Maintenant, je ne suis pas sur le point de précipiter et de transférer tout notre stockage dans le cloud, car il existe d'autres avantages à avoir un stockage local, mais je pense que ce type d'exercice de tarification est utile: Si vous pensez que le stockage en nuage coûte cher, combien vous coûte vraiment payer pour votre stockage local?


5





Ma question sur cette question est simple: un fichier qui se trouve sur un disque dur simple, sans raid et probablement sans échange à chaud, auquel une personne ne peut normalement accéder et qui n’a probablement jamais été sauvegardé. C'est une méthode facile et peu coûteuse d'E / S ...

Dans notre entreprise, j’ai utilisé l’une des méthodes de raid les plus coûteuses (raid 10), qui requiert un minimum de 4 disques durs; nous en utilisons 6 ... ce qui nous donne des taux d’IO élevés et une tolérance aux pannes.

Cette configuration m'a permis d'économiser beaucoup d'argent, et ce résultat s'est traduit par de meilleures performances et moins de temps d'indisponibilité pour les utilisateurs finaux. Pour un simple E / S, il n'y a qu'une seule personne à décevoir et il y a probablement peu de valeur financière liée au temps d'indisponibilité.

Nous avons également un serveur iSCSI dédié utilisé pour la virtualisation Xen et également configuré pour le raid 10 ...

Plus le nombre d'E / S à utiliser et à sauvegarder est important, plus sa mise en œuvre est coûteuse ... si les exigences de votre entreprise acceptent la perte de données, des vitesses très lentes et aucune redondance, vous pouvez effectuer un stockage de qualité professionnelle sur le serveur. pas cher!!! Juste être prêt à se faire virer ...


4