L'une des fonctionnalités les plus attrayantes du framework Hadoop est sa utilisation du matériel de base . Cependant, cela conduit à de fréquents plantages de DataNode dans un cluster Hadoop. Une autre caractéristique frappante de Hadoop Framework est la facilité d'échelle en fonction de la croissance rapide du volume de données . Pour ces deux raisons, l'une des tâches les plus courantes d'un administrateur Hadoop est de commission (Ajouter) et mise hors service (Supprimer) les nœuds de données dans un cluster Hadoop.
java pour exemples de programmes en boucle
Mise en service et mise hors service des nœuds dans un cluster Hadoop:
Le diagramme ci-dessus montre un processus étape par étape pour désactiver un DataNode dans le cluster.
La première tâche consiste à mettre à jour le « exclure ‘Fichiers pour les deux HDFS (hdfs-site.xml) et MapReduce (mapred-site.xml).
Le fichier «exclure»:
- pour jobtracker contient la liste des hôtes qui doivent être exclus par le traqueur de travaux. Si la valeur est vide, aucun hôte n'est exclu.
- pour Namenode contient une liste d'hôtes qui ne sont pas autorisés à se connecter au Namenode.
Voici l'exemple de configuration du fichier d'exclusion dans hdfs-site.xml et mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / exclut
vrai
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / exclut
vrai
Remarque: Le chemin complet des fichiers doit être spécifié.
De même, nous avons les fichiers «inclure»:
- pour jobtracker contenant la liste des nœuds pouvant se connecter au JobTracker. Si la valeur est vide, tous les hôtes sont autorisés.
- pour Namenode contenant une liste d'hôtes autorisés à se connecter au Namenode. Si la valeur est vide, tous les hôtes sont autorisés.
La ' dfsadmin ' et ' mradmin Les commandes ’actualisent la configuration avec les modifications pour les informer du nouveau nœud.
La ' des esclaves Le fichier ’sur le serveur maître contient la liste de tous les nœuds de données. Cela doit également être mis à jour pour garantir tout problème lors du démarrage / arrêt futur du démon hadoop.
L'étape importante du processus de commission des nœuds de données consiste à exécuter le Cluster Balancer.
> hadoop balancer-seuil 40
Balancier tente de fournir un équilibre à un certain seuil parmi les nœuds de données en copiant les données de bloc des nœuds plus anciens vers les nœuds nouvellement mis en service.
Alors, voici comment vous pouvez faire - Mise en service et Mise hors service Nœuds dans un cluster Hadoop.
Vous avez une question pour nous? Veuillez le mentionner dans la section commentaires et nous vous recontacterons.
Liens connexes: