Définition de HDFS
Le HDFS (Hadoop Distributed File System) est un système de fichiers distribué qui traite de grands ensembles de données fonctionnant sur du matériel de base. Il est utilisé pour faire évoluer un seul cluster Apache Hadoop vers des centaines (et même des milliers) de nœuds. HDFS est l’un des principaux composants d’Apache Hadoop, les autres étant MapReduce et YARN. HDFS ne doit pas être confondu avec ou remplacé par Apache HBase, qui est un système de gestion de base de données non relationnelles orienté colonne qui se trouve au-dessus de HDFS et qui peut mieux prendre en charge les besoins en données en temps réel grâce à son moteur de traitement en mémoire.
Un exemple de HDFS
Prenons un fichier qui contient les numéros de téléphone de tous les habitants des États-Unis ; les numéros des personnes dont le nom de famille commence par A peuvent être stockés sur le serveur 1, B sur le serveur 2, etc.
Avec Hadoop, des morceaux de ce répertoire seraient stockés sur l’ensemble du cluster, et pour reconstruire l’ensemble du répertoire, votre programme aurait besoin des blocs de chaque serveur du cluster.
Pour garantir la disponibilité en cas de défaillance d’un serveur, HDFS réplique ces petits morceaux sur deux serveurs supplémentaires par défaut. (La redondance peut être augmentée ou diminuée par fichier ou pour un environnement entier ; par exemple, un cluster Hadoop de développement n’a généralement pas besoin de redondance de données). Cette redondance offre de multiples avantages, le plus évident étant une plus grande disponibilité.
La redondance permet également au cluster Hadoop de diviser le travail en plus petits morceaux et d’exécuter ces travaux sur tous les serveurs du cluster pour une meilleure évolutivité. Enfin, vous bénéficiez de la localisation des données, ce qui est essentiel lorsque vous travaillez avec de grands ensembles de données.
Pourquoi avez-vous besoin de cette technologie ?
Le HDFS est absolument important pour les besoins de Big Data. Il n’est pas possible d’héberger des données dans un lieu centralisé car la quantité de données est si importante et il y a des contraintes de coût et de capacité, entre autres. Mais en raison de la nature distribuée du HDFS, vous pouvez héberger des données sur plusieurs serveurs pour les déployer en vue de leur traitement. La possibilité d’héberger des données sur du matériel courant rend cette solution plus attrayante, car lorsque la charge augmente, il suffit d’augmenter le nombre de serveurs ou de nœuds. Le HDFS s’occupe des nœuds défectueux en stockant les mêmes données de manière redondante. En outre, il est extrêmement facile de changer d’échelle ou de réduire la taille des serveurs, car il suffit d’ajouter ou de soustraire du matériel de base pour répondre aux nouvelles exigences.
En outre, le HDFS résout de manière pratique la question du traitement des données en continu puisqu’il s’agit d’une plateforme utilisée pour le traitement par lots et non pour une utilisation interactive. Cela se prête aux applications Big Data où les données arrivent en masse et rapidement et doivent être traitées en continu afin d’en tirer un sens en temps réel ou presque. Les HDFS remplacent les anciens systèmes de gestion de base de données qui ne pouvaient plus prendre en charge toutes ces données en continu et en tirer des informations en temps réel.
Si vous avez des doutes ou des questions concernant Big Data, demandez des éclaircissements aux experts de Big Data sur Hadoop et la communauté Spark.
Quels sont les avantages de l’apprentissage de cette technologie ?
L’apprentissage de cette technologie présente de nombreux avantages, car le HDFS est de loin la technologie la plus résiliente et la plus tolérante aux pannes disponible sous forme de plateforme open-source, qui peut être étendue ou réduite en fonction des besoins, ce qui rend très difficile de trouver un HDFS pour remplacer les besoins de stockage du Big Data Hadoop. Vous aurez donc une longueur d’avance pour travailler sur la plateforme Hadoop si vous êtes capable de déchiffrer les concepts HDFS. Certaines des plus grandes entreprises du monde déploient Hadoop à une échelle sans précédent, et les choses ne peuvent que s’améliorer à l’avenir. Des entreprises comme Amazon, Facebook, Google, Microsoft, Yahoo, General Electrics et IBM exploitent des clusters Hadoop massifs afin d’analyser leurs quantités démesurées de données. Par conséquent, en tant que professionnel de l’informatique avant-gardiste, cette technologie peut vous aider à laisser vos concurrents loin derrière vous et à faire un grand bond en avant dans votre carrière.
