comment créer une alerte en javascript
Hadoop Job Tacker
Job Tracker est le démon maître pour la gestion des ressources de travail et la planification / surveillance des travaux. Il agit comme une liaison entre Hadoop et votre application.
Le processus
L'utilisateur copie d'abord les fichiers dans le système de fichiers distribués (DFS), avant de soumettre un travail au client. Le client reçoit alors ces fichiers d'entrée. L'utilisateur recevra les fractionnements ou les blocs en fonction des fichiers d'entrée.Le client pourraitcréer les divisions ou les blocs chez un hommener il prefers, car il y a certaines considérations derrière cela. Si une analyse est effectuée sur les données complètes, vous diviserez les données en fractionnements. Les fichiers ne sont pas copiés via le client, mais sont copiés à l'aide de flume ou Sqoop ou de tout client externe.
Une fois les fichiers copiés dans le DFS et le client interagit avec le DFS,les fractionnements exécuteront un MapReduce job. Le travail est soumis via un outil de suivi des travaux. Le traqueur de travaux est le démon maître qui s'exécute sur le même nœud quecourtces multiples travaux sur les nœuds de données. Ces données se trouveront sur divers nœuds de données, mais il est de la responsabilité du traqueur de travaux de s'en occuper.
Après la soumission d'un client lele traqueur de travaux, le travail est initialisé dans la file d'attente des travaux et le traqueur de travaux crée des cartes et réduit. Basé sur le programme contenu dans la fonction de carte et la fonction de réduction, il créera la tâche de carte et réduira la tâche. Ces deux fonctionneront sur les divisions d'entrée. Remarque: lorsqu'il est créé par les clients, ce fractionnement d'entrée contient toutes les données.
code python décimal à binaire
Chaque fractionnement d'entrée a un travail de mappage en cours d'exécution et la sortie de la tâche de mappage va dans la tâche de réduction. Job tracker exécute la piste sur une donnée particulière. Il peut y avoir plusieurs réplications de cela afin qu'il sélectionne les données locales et exécute la tâche sur ce suivi de tâches particulier. Le tracker de tâches est celui qui exécute réellement la tâche sur le nœud de données. Job Tracker passera leinformationau suivi des tâches et le suivi des tâches exécutera le travail sur le nœud de données.
Une fois que le travail a été attribué au suivi des tâches, un battement de cœur est associé à chaque suivi des tâches et des travaux. Il envoie des signaux pour savoir si les nœuds de données sont toujours en vie. Les deux sont souvent synchronisés car il est possible que les nœuds disparaissent.
Vous avez une question pour nous? Mentionnez-les dans la section commentaires et nous vous recontacterons.
Articles Similaires:
exemple de bloc statique en java