Avec l'adoption croissante de Hadoop dans les solutions informatiques d'entreprise traditionnelles et l'augmentation du nombre d'implémentations Hadoop dans l'environnement de production, le besoin d'experts des opérations et de l'administration Hadoop pour prendre en charge les grands clusters Hadoop devient vital.
Responsabilités de l'administrateur Hadoop:
- Responsable de la mise en œuvre et de l'administration continue de l'infrastructure Hadoop.
- S'aligner avec l'équipe d'ingénierie des systèmes pour proposer et déployer les nouveaux environnements matériels et logiciels requis pour Hadoop et pour étendre les environnements existants.
- Travailler avec les équipes de livraison de données pour configurer de nouveaux utilisateurs Hadoop. Ce travail comprend la configuration des utilisateurs Linux, la configuration des principaux Kerberos et le test de l'accès HDFS, Hive, Pig et MapReduce pour les nouveaux utilisateurs.
- Maintenance de cluster ainsi que création et suppression de nœuds à l'aide d'outils tels que Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage et d'autres outils.
- Réglage des performances des clusters Hadoop et des routines Hadoop MapReduce.
- Écran des performances des tâches du cluster Hadoop et de la planification de la capacité
- Surveiller la connectivité et la sécurité du cluster Hadoop
- Gérez et examinez les fichiers journaux Hadoop.
- Gestion et surveillance du système de fichiers.
- Support et maintenance HDFS.
- S'associer avec diligence aux équipes d'infrastructure, de réseau, de base de données, d'applications et de business intelligence pour garantir une haute qualité et disponibilité des données.
- Collaboration avec les équipes d'application pour installer le système d'exploitation et les mises à jour, correctifs et mises à niveau de version Hadoop si nécessaire.
- Point de contact pour la remontée des fournisseurs
Hadoop Administration est une carrière enrichissante et lucrative avec de nombreuses opportunités de croissance. Si les responsabilités professionnelles énumérées ci-dessus vous intéressent, il est temps de vous perfectionner avec Hadoop Administration et de vous lancer dans le cheminement de carrière de Hadoop Admin.
comment déclarer un tableau dynamique en java
Responsabilités du DBA exercées par un administrateur Hadoop:
- Modélisation, conception et mise en œuvre de données basées sur des normes reconnues.
- Installation et configuration du logiciel.
- Sauvegarde et restauration de la base de données.
- Connectivité et sécurité de la base de données.
- Surveillance et réglage des performances.
- Gestion de l'espace disque.
- Correctifs logiciels et mises à niveau.
- Automatisez les tâches manuelles.
Responsabilités de développement DWH assumées par l'administrateur Hadoop:
Les responsabilités des administrateurs DWH comprennent le développement, le test et la surveillance des travaux par lots pour les tâches suivantes:
- Assurer l'intégrité référentielle.
- Effectuer l'exécution de la clé primaire.
- Réalisez des retraitements de données.
- Chargez de gros volumes de données en temps opportun.
Maintenant que vous connaissez les responsabilités professionnelles d'un administrateur Hadoop, examinons les compétences requises pour en devenir un.
Compétences requises pour devenir administrateur Hadoop:
- Expertise opérationnelle générale telle que de bonnes compétences en dépannage, compréhension de la capacité du système, des goulots d'étranglement, des bases de la mémoire, du processeur, du système d'exploitation, du stockage et des réseaux.
- Compétences Hadoop comme HBase, Hive, Pig, Mahout, etc.
- Les exigences les plus essentielles sont les suivantes: Ils doivent être en mesure de déployer un cluster Hadoop, d'ajouter et de supprimer des nœuds, de suivre les travaux, de surveiller les parties critiques du cluster, de configurer la haute disponibilité du nœud de nom, de le planifier et de le configurer et d'effectuer des sauvegardes.
- Bonne connaissance de Linux car Hadoop fonctionne sous Linux.
- Connaissance des outils de gestion de configuration et de déploiement open source tels que Puppet ou Chef et les scripts Linux.
- La connaissance du dépannage des applications Java principales est un plus.
Edureka a spécialement organisé un cours sur l'administration Hadoop. Cliquez sur le bouton ci-dessous pour démarrer avec l'administration Hadoop et découvrez comment le cours vous aide à devenir administrateur Hadoop.
Articles Similaires:
comment utiliser charat en java
Avantages de carrière grâce à la certification Hadoop.
Dans quelle mesure la formation Hadoop est-elle essentielle?