Déplacement de Big Data vers le stockage Amazon S3 à une vitesse maximale

Si votre stratégie de stockage de données inclut le stockage d'objets dans le cloud, vous devrez prendre en compte les outils qui seront utilisés pour déplacer ces données et y accéder une fois qu'elles ont toutes migré vers le cloud. Heureusement, en matière de stockage d'objets, tous les fournisseurs vous fourniront une gamme d'outils de qualité prêts à l'emploi et des options pour déplacer et accéder à vos données. Si votre ensemble de données est très volumineux, que le temps d'accès requis est court ou que la distance géographique entre la source et la destination est éloignée, envisagez d'utiliser FileCatalyst. FileCatalyst s'intègre à plusieurs des solutions de stockage d'objets les plus populaires pour vous offrir une flexibilité dans votre approche. Comment décidez-vous quelle option FileCatalyst convient à votre organisation? Dans cette série de blogs, nous examinerons plusieurs fournisseurs de stockage d'objets de premier plan pour vous aider à comprendre les différences.

Évaluation de l'option Amazon S3

Aujourd'hui, nous allons examiner l'intégration de FileCatalyst avec Amazon S3. En tant que produit spécialement conçu pour le transfert rapide de fichiers, nous savions qu'il était essentiel de créer un moyen accéléré et complet de migrer les données vers cette plate-forme très appréciée. Nous voulions nous assurer qu'AWS, pionnier du cloud computing, soit reconnu au sein de nos capacités de transfert.

Une brève histoire d'Amazon S3

En 2006, AWS a relancé et introduit S3 dans le monde. À l'époque, Amazon S3 était l'un des premiers services de stockage cloud disponibles sur le marché. Cette option propose plusieurs classes de stockage différentes, y compris; S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 One Zone-IA, S3 Glacier et S3 Glacier Deep Archive. Chaque classe de stockage offre des capacités différentes pour répondre à différents besoins. Celles-ci sont basées sur le coût du service, la durabilité des données et le cas d'utilisation.

Avantages du stockage basé sur le cloud

De nombreuses entreprises ont choisi de déplacer leur stockage vers le cloud, et FileCatalyst prend en charge cette décision avec des capacités d'intégration de stockage cloud complètes. Quelques avantages l'expérience des entreprises lors de la sélection du stockage cloud par rapport au stockage sur site traditionnel comprend une augmentation de l'agilité, des coûts réduits et une sécurité renforcée.

Intégration FileCatalyst-Amazon S3

Avec ces avantages à l'esprit, notre intégration garantit que vos données sont transférées de manière fiable vers et depuis votre stockage S3. Vous trouverez FileCatalyst Direct Server disponible à utiliser via AWS Marketplace. Cependant, il peut également être installé dans votre propre instance au sein de votre compte AWS (Amazon Virtual Private Cloud (VPC), Marketplace, etc.).

En outre, nous souhaitons mettre en évidence deux scénarios de déploiement courants.

Image 1) FileCatalyst Server installé dans AWS dans une instance EC2

AWS dans l'instance EC2

Image 2) Client FileCatalyst et serveur FileCatalyst installés sur site

Serveur sur site

Comment ça fonctionne

Lorsque vous sélectionnez FileCatalyst comme solution de transfert de données S3, il n'est pas nécessaire d'acheter quoi que ce soit de plus. Tout ce dont vous avez besoin est déjà intégré à la solution. FileCatalyst peut être configuré pour accéder à S3 via l'utilisation de clés d'accès ou avec des rôles de gestion des identités et des accès (IAM). Pour que FileCatalyst accède à votre compartiment S3 sans stocker les clés d'accès, assurez-vous d'exécuter FileCatalyst sur une instance EC2 avec un rôle IAM approprié qui lui est attribué. Pour optimiser les performances, FileCatalyst exploite les capacités en plusieurs parties S3 et diffuse les fichiers directement vers votre stockage S3.

Pour maximiser les vitesses de transfert de fichiers vers S3, nous vous recommandons d'installer le serveur FileCatalyst aussi près (géographiquement) que possible de la région et de la zone de disponibilité (AZ) où réside votre compartiment S3. Cela garantit que la communication HTTP entre le serveur FileCatalyst et S3 est aussi rapide que possible. Les applications client FileCatalyst peuvent être installées à un emplacement distinct, sur site ou dans le cloud, et utilisées pour accélérer les fichiers depuis / vers cet emplacement vers votre compartiment S3.

Si des fichiers doivent être transférés dans AWS, le serveur et le client FileCatalyst doivent être déployés dans la même région, AZ, VPC et sous-réseau. Cela permettra à la solution d'obtenir vos fichiers vers et depuis S3 encore plus rapidement. FileCatalyst peut transférer des fichiers dans S3 jusqu'à 5 Gbit / s par fichier unique et jusqu'à 10 Gbit / s avec plusieurs fichiers simultanés lorsque la solution est complètement déployée sur l'infrastructure AWS.

En savoir plus sur FileCatalyst + Amazon S3

Curieux d'en savoir plus sur notre intégration avec Amazon S3? Regardez notre webinaire sur Intégration FileCatalyst Amazon S3.