C'est l'une des fonctionnalités les plus importantes de Hadoop 2.0. Avant de discuter de la fonctionnalité de haute disponibilité de Namenode, il est essentiel de savoir ce qu'est Quorum. Le quorum est un terme générique utilisé dans le clustering où nous disons qu'un cluster particulier est stable. Quorum donne une liste des machines et aide à déterminer la santé du cluster. Il existe deux types de quorum: le quorum attendu et le quorum calculé.
NameNode Haute disponibilité avec Quorum Journal Manager (QJM)
Avant Hadoop 2.0, le NameNode était un point de défaillance unique (SPOF) dans un cluster HDFS. Chaque cluster avait un seul NameNode, et si cette machine n'était pas disponible, le cluster dans son ensemble serait indisponible jusqu'à ce que le NameNode soit redémarré ou démarré sur une machine distincte. Dans un cluster HA classique, deux machines distinctes sont configurées en tant que NameNodes. À tout moment, l'un des NameNodes sera à l'état actif et l'autre à l'état de veille. L'Active NameNode est responsable de toutes les opérations client dans le cluster, tandis que le Standby agit simplement en tant qu'esclave, conservant un état suffisant pour fournir un basculement rapide.
Pour que le nœud de veille conserve son état coordonné avec le nœud actif, les deux nœuds communiquent avec un groupe de démons séparés appelés «JournalNodes» (JN). Lorsqu'une modification d'espace de noms est effectuée par le nœud actif, il enregistre un enregistrement des modifications apportées, dans les JournalNodes. Le nœud de secours est capable de lire les informations modifiées à partir des JN et les surveille régulièrement pour détecter les modifications. Lorsque le nœud de secours voit les modifications, il les applique ensuite à son propre espace de noms. En cas de basculement, le Standby s'assurera qu'il a lu toutes les modifications des JounalNodes avant de changer son état en «État actif». Cela garantit que l'état de l'espace de noms est entièrement synchronisé avant un basculement.
Pour fournir un basculement rapide, il est essentiel que le nœud de secours dispose des informations mises à jour et actuelles concernant l'emplacement des blocs dans le cluster. Pour que cela se produise, les DataNodes sont configurés avec l'emplacement des deux NameNodes et envoient des informations d'emplacement de bloc et des pulsations aux deux.
convertir le binaire en int java
Il est essentiel qu'un seul des NameNodes soit actif à la fois. Sinon, l'état de l'espace de noms s'écarterait entre les deux et entraînerait une perte de données ou des résultats erronés. Afin d'éviter cela, les JournalNodes n'autoriseront qu'un seul NameNode à un écrivain à la fois. Lors d'un basculement, le NameNode qui doit devenir actif prendra en charge la responsabilité d'écrire dans les JournalNodes.
Vous avez une question pour nous? Veuillez les mentionner dans la section commentaires et nous vous recontacterons.
Articles Similaires:
tutoriel mysql workbench pour les débutants
Vue d'ensemble de la fédération d'architecture de cluster Hadoop 2.0