Question Transférer 10 To de fichiers des États-Unis au centre de données britannique


Je migre mon serveur des États-Unis vers le Royaume-Uni d'un centre de données à un autre. Mon hôte a dit que je devrais pouvoir atteindre 11 mégaoctets par seconde.

Le système d'exploitation est Windows Server 2008 aux deux extrémités.

Ma taille moyenne de fichier est d'environ 100 Mo. Les données sont réparties sur cinq lecteurs de 2 To.

Quelle serait la méthode recommandée pour transférer ces fichiers?

  • FTP
  • PME
  • Rsync / Robocopy
  • Autre?

La sécurité ne me dérange pas trop, car ce sont des fichiers publics de toute façon, mais je veux juste une solution capable d’augmenter le taux de transfert de 11 Mo / s afin de minimiser le temps de transfert total.


91
2017-10-03 20:03


origine


11 Mo / s ou 11 Mb / s? - wim
transférer les données sur une carte perforée binaire et utiliser un pigeon voyageur :) - enterzero
Vous devriez fournir des détails. Combien de pigeons voyageurs pensez-vous que cela prendrait? Montre ton travail. - Evik James
@Evik Européen ou Africain? - wim
De plus, Wolfram Alpha est le moyen le plus pratique de faire le calcul, "10 To à 11Mo / s". wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


Réponses:


Expédiez plutôt des disques durs à travers l'océan.

À 11 Mbps avec une utilisation complète, il ne vous reste que 90 jours pour transférer 10 To.


11 Mbps = 1,375 Mbps = 116.015 Go / jour.

10240 Go / 116,015 Go / jour = ~ 88.3 jours.


171
2017-10-03 20:14



+1 pour Sneakernet. En outre, vous avez oublié la surcharge TCP / IP. Cela ressemble plus à ~ 100 jours dans des circonstances idéales. - Chris S
Un sage a dit un jour "Ne sous-estimez jamais la bande passante d’un break plein de cassettes qui défilent sur l’autoroute". Cette équation est très vraie et ne change pas substantiellement en changeant le break pour un bateau. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
Il est préférable d’envoyer des bandes ou des disques Blu-ray plutôt que des lecteurs. Si vous utilisez des lecteurs, assurez-vous que les originaux sont conservés en sécurité et disponibles au cas où. Je choisirais les disques moi-même (à moins que je ne dispose de disques Ultrium 4), car 10 To = 410 disques blueray simple couche! - Allen
Je viens de me rendre compte que j’ai tapé 11Mbps, mais c’est ce que j’ai voulu dire réellement, c’était 11Mo / s. Je suppose que cela fait une grosse différence, mes calculs la situent entre 11 et 14 jours environ… est-ce correct? - Paul Hinett
Je crois toujours que l'envoi d'un utilisateur supervisé avec la sauvegarde de 10 To alors que le disque officiel fonctionne toujours, puis une fois la configuration terminée, vous pouvez lancer un rsync pour mettre à jour le nouveau serveur en cas de modification. Votre machine devrait être opérationnelle en environ une journée. - Loïc Faure-Lacroix


Je dirais que rsync, à 11 Mo / s, vous regarderez 10-14 jours et même si vous êtes interrompu, rsync démarrera facilement là où il s’était arrêté la dernière fois.

À 11 Mbps, j'expédierais les disques durs comme suggéré ci-dessus :)


25
2017-10-03 22:00



Votre estimation diffère de manière très significative de ce que les autres ont posté (et je ne sais pas qui est correct). Pouvez-vous fournir votre méthodologie pour arriver à ces chiffres? - John Gardeniers
La différence vient du fait que le PO a mal déclaré 11 Mbps alors qu’il signifiait 11 Mbps - ce qui est 8 fois plus rapide. BTW, redémarrer un 10 To rsync dans le cas d'une interruption prendra probablement un certain temps, n'est-ce pas? Heures ou plus? - Frank Farmer
@FankFarmer: Je ne m'inquiéterais pas du redémarrage de rsync; Je conserve une copie hors site de ~ 20 To sur une ligne sans fil à 30 Mbps, et le redémarrage s'effectue dans la plage des secondes. la copie initiale a pris quelques semaines, mais la mise à jour nocturne prend généralement quelques heures. - Javier
@FankFarmer - rsync semble évoluer très bien. J'ai environ 2 To sur une ligne ADSL1 rurale initiée avec sneakernet, mais il faut environ 5 minutes pour effectuer une synchronisation tous les soirs si rien n'a changé. - Flexo
Le temps de redémarrage de rsync varie en fonction du nombre de fichiers (principalement de statselon mon expérience), pas avec des données totales. Je ne m'attendrais pas à une attente significative (plusieurs minutes tout au plus). Bien que mon expérience avec rsync dépasse un peu moins de 5 To. - derobert


Rsync bien sûr.

Au moins, vous pouvez continuer à tout moment après une pause, et cela sans douleur.


14
2017-10-03 20:07



3 mois ou plus pour copier à 100% d'utilisation. Désolé, mais c’est un moyen terrible de transférer autant de données. - Chris S
Je suis d'accord avec @ChrisS, en utilisant rsync copier des fichiers volumineux n’est pas efficace. Pour mes affaires, j'ai fini par utiliser tar plus de netcat ou ssh pour le transfert initial. Il est beaucoup plus rapide et commence à transférer immédiatement, alors que rsync va d'abord scanner tous les fichiers, ce qui prend du temps. Si cela vous interrompt, vous pouvez toujours utiliser rsync ensuite. En fait, je le fais parfois après tar Quoi qu'il en soit, pour vous assurer que toutes les autorisations, les fichiers de socket, etc. sont corrects. - Martin Scharrer
Une fois que l'OP a corrigé le fait qu'il dispose d'une connexion d'environ 100 Mo, et non de 11 Mo, rsync est beaucoup plus logique. +1 pour le premier à le mentionner. - Chris S


Ne sous-estimez jamais la bande passante d'un break rempli de cassettes

- Trad.

Dans votre cas, les disques ou bandes envoyés par courrier, mais le principe s'applique toujours. Si vous ne vous inquiétez pas de la latence, cela coûtera beaucoup moins cher que la bande passante du réseau pour transférer 10 To de données dans un délai raisonnable.


11
2017-10-04 11:32



Jeff Atwood a dirigé les numéros dans l'un de ses anciens messages de Coding Horror. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


Vous devriez utiliser rsync. Ce sera compresse les données et dédoubler avant l'envoi. Il peut également reprendre des transferts partiels, ce qui est très important pour les transferts importants.

Il est probable que cela ne transfère pas 10 To; si ce sont des journaux et du texte, ils pourraient être inférieurs à 1 To; peut-être bien en dessous de 1 To.

Il existe des outils qui font un meilleur travail de compression que rsync et qui trouvent probablement plus de correspondances. Vous pourriez utiliser lrzip, etc.

Il existe des types de données spécifiques qui ne se compressent pas bien et ne contiennent pas de dupes littérales - vidéos et autres médias, par exemple. Dans ces cas, FTP et rsync font à peu près le même effort.


9
2017-10-04 08:02



RSync déduplique les données? Je pense que cela ne se fait qu'au niveau du fichier, ce qui signifie que la déduplication est généralement inutile dans ce cas. - devicenull


Je sais que cela est déjà accepté, mais avez-vous déjà envisagé de transférer vos disques vers un centre de données, un fournisseur ou un hôte où vous pouvez obtenir plus de bande passante? Cela vous coûtera probablement un peu d’argent, mais la copie de 10240 Go sur des disques de sauvegarde et l’envoi en coûteront également du temps et de l’argent (2 x argent).

De plus, vous serez sûr que vos disques ne casseront pas pendant le transport


5
2017-10-04 07:13



En quoi cette réponse est-elle différente de la réponse acceptée? - Chris S
@Chris Cette réponse suggère de transporter les disques dans un tuyau plus grand sur le même continent. - Alex Jasmin


11 Mbps? C'est tout à fait une limitation que vous avez ici. Dans votre situation, je voudrais simplement:

  • Cloner les données
  • Le compresser
  • Louez des serveurs des deux côtés avec au moins 10 fois plus de bande passante (dans les mêmes centres de données ou dans un centre de données proche de vous).
  • Transférer les fichiers
  • Appliquez les données au nouveau serveur.

Si vous ne disposez vraiment d'aucune solution pour augmenter la bande passante ... L'envoi d'un disque physique sera bien plus rapide.

De mon expérience douloureuse, les disques durs ont tendance à casser le courrier ... Les clés USB sont une meilleure solution pour les transferts fréquents de données. Dans votre cas, il en faudrait quelques-uns :) Envoyez donc deux copies de vos données sur plusieurs disques durs.

Compte tenu de la quantité de données dont vous disposez, vous pouvez également envoyer des disques d'un ensemble RAID 5 ou RAID 6 si vous avez le même matériel / logiciel de l'autre côté pour brancher vos disques. Mais dans ce cas, n'oubliez pas de marquer l'ordre de vos disques. et leurs numéros de série afin qu'ils ne soient pas mélangés lors de la reconfiguration.


4
2017-10-04 00:15



désolé, le 11Mbps était un type incorrect, il est de 11Mo / s ... je l'ai mentionné dans l'un des commentaires ci-dessus. - Paul Hinett