Quand j'étais plus jeune, j'aimais la série de films Star Wars. J'ai tellement aimé que j'avais ces cassettes vidéo de chacun d'entre eux. J'avais l'habitude de les regarder encore et encore. Puis vint le temps des lecteurs DVD et je devais récupérer ces films en DVD. Je n'ai eu aucun scrupule à racheter l'ensemble complet en DVD car je voulais faire l'expérience de la nouvelle technologie et continuer à profiter de mes films préférés. Les choses allaient bien jusqu'à ce qu'une autre nouvelle technologie, le Blu-ray, fasse son apparition. Ayant déjà acheté les films deux fois, je n’avais pas hâte de les acheter à nouveau. Pendant un certain temps, je n’ai fait aucun effort pour me «mettre à jour», pensant que je ferais très bien sans cette technologie. Et j'ai bien fait. De toute façon, cela n’a pas affecté ma vie. Mais je pouvais voir un changement de tendance et je ne pouvais pas partager mes films avec mes amis, comme ils le faisaient les uns avec les autres. Je me sentais vraiment exclu.
J'ai finalement sorti et j'ai récupéré le film en Blu-ray. Je m'en souviens non pas parce que j'aime le film, mais parce que la qualité de la vidéo était époustouflante. Et pour couronner le tout, j'ai obtenu l'ensemble des films sur un seul disque Blu-ray.
Le besoin ou l'envie de se tenir au courant est le plus fort lorsqu'il s'agit de notre profession car les risques sont plus grands. Il est devenu essentiel de rester au top de votre forme.
4 raisons pratiques d'apprendre Hadoop 2.0:
Aussi inévitable que cela puisse être, rester à jour dans notre profession est devenu une partie importante de notre vie. Aussi intimidant que cela puisse paraître, il n’ya pas lieu de s’alarmer, car les technologies ne changent pas vraiment aussi vite ou radicalement. Mais les discussions et les informations sur ces technologies et les choses que nous pouvons faire avec elles gagnent en visibilité. Voici quelques raisons pour lesquelles vous devriez rester à jour:
# 1: Ne vous laissez pas surprendre
Ne pas prêter attention à la dernière mise à jour d'une technologie peut vous faire ressembler à un cerf pris dans un phare. Pas exactement une image éclatante de vos capacités professionnelles. Être à jour vous fera respecter par vos pairs pour vos compétences professionnelles. Il n'est peut-être pas nécessaire de mettre en œuvre chaque nouvelle chose que vous apprenez, mais il est impératif d'être conscient des mises à jour.
Par exemple, lorsqu'il y a une discussion sur Hadoop, vous pouvez informer vos pairs que Hadoop 2.5.0 a des améliorations d'authentification lors de l'utilisation d'un serveur proxy HTTP. Et aussi dans la même version de Hadoop, il existe une disposition pour écrire directement dans Graphite.
Il devient essentiel d'être au courant des dernières mises à jour lorsque les organisations envisagent de migrer vers Hadoop. Et «savoir» peut faire une énorme différence dans votre carrière.
# 2: Avoir un avantage concurrentiel
Les professionnels qualifiés dans leur domaine sont respectés. Et rester à jour est la meilleure façon d'être au top. Votre besoin de rester à jour reflète votre passion pour votre travail. En développant une expertise dans votre métier et dans votre secteur, vous gagnerez la confiance et le respect des personnes autour de vous. Du point de vue du leadership, c'est inestimable!
Même si votre organisation travaille toujours avec Hadoop 1.0, connaître toutes les dernières fonctionnalités de Hadoop 2 vous permettra de rester sur la bonne voie car il est relativement nouveau et certainement meilleur. Être le premier à apprendre cela vous donnerait un avantage sur vos pairs.
# 3: Nouvelles opportunités
C’est une triste réalité que notre rôle actuel continue de changer. Avec le temps, des responsabilités supplémentaires et des opportunités d'accomplir de nouvelles tâches sont ajoutées. En restant informé des tendances du secteur, vous êtes le mieux placé pour saisir ces opportunités.
Des entreprises comme Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory et bien d'autres recherchent des personnes qualifiées dans les dernières fonctionnalités de Hadoop 2, comme YARN.
# 4: Prenez de meilleures décisions
Les informations supplémentaires vous permettront de faire des choix éclairés et de meilleures décisions. Cela vous aidera à reconnaître les opportunités et à ajouter de la valeur à la stratégie de votre organisation.
factorielle utilisant la récursivité en c
Hadoop 2 possède des fonctionnalités qui améliorent la vitesse et réduisent les coûts. Suggérer des options pour améliorer les performances et augmenter la vitesse peut certainement augmenter la productivité de l'entreprise. Voici quelques fonctionnalités de Hadoop 2 qui profiteront à l'organisation et les suggérer stimulera également votre carrière.
Prise en charge de l'exécution de Hadoop sur Microsoft Windows
Distribution simplifiée des binaires MapReduce via HDFS dans YARN Distributed Cache.
Prise en charge améliorée des nouvelles applications sur YARN avec Application History Server et Application Timeline Server
Prise en charge complète de HTTPS dans HDFS
Intégration Kerberos pour le magasin de chronologies de YARN.
Prise en charge de la hiérarchie de stockage hétérogène dans HDFS.
Cache en mémoire pour les données HDFS avec administration et gestion centralisées.
Distribution simplifiée des binaires MapReduce via HDFS dans YARN Distributed Cache.
Il y a plus que des raisons pratiques pour rester à jour Il y a aussi des raisons techniques. Hadoop possède de nombreuses fonctionnalités avantageuses pour les organisations. Les examiner en profondeur vous donnera une image claire de ce que sont les avantages.
Quelle est la dernière mise à jour de Hadoop?
Chaque produit passe par différentes étapes de sortie et propose différentes versions de lui-même. Hadoop ne fait pas exception et a mis au point Hadoop 2.0. La fondation Apache a mis au point des versions ultérieures de Hadoop comme Hadoop 2.1.0, Hadoop 2.4.0 et a atteint Hadoop 2.5.1, qui est la dernière version publiée en septembre 2014.
Pourquoi Hadoop 2 est-il sorti?
Avec la nouvelle version vient des fonctionnalités supplémentaires et des bugs corrigés. Ainsi, chaque fois que vous utilisez une version particulière de Hadoop et que vous pensez qu'une certaine fonctionnalité peut être ajoutée ou que certains bogues doivent être corrigés, vous en informez les membres de la fondation Apache. Ces gars-là travaillent à leur tour dessus et vous donnent un meilleur produit dans la prochaine version.
Hadoop 2 - Pas seulement un numéro
Hadoop 2 n'est pas seulement la dernière version de Hadoop. Dans l'ensemble, il s'agit d'une architecture de deuxième génération. Arun Murthy, fondateur et architecte du distributeur Hadoop Hortonworks, insiste sur le fait que la distinction est importante car la quantité de réingénierie nécessaire pour déplacer Hadoop au-delà du traitement par lots et dans le monde de l'analyse en temps réel a été considérable.
Voyons en quoi Hadoop 2.0 est différent de son prédécesseur Hadoop 1.0. De toute évidence, la dernière version publiée sera supérieure à la version précédente. Voici les quatre améliorations majeures de Hadoop 2.0 par rapport à Hadoop 1.x:
Fédération HDFS - Évolutivité horizontale de NameNode
NameNode High Availability - NameNode n'est plus un point de défaillance unique
YARN - Possibilité de traiter des téraoctets et des pétaoctets de données disponibles dans HDFS à l'aide d'applications non-MapReduce telles que MPI, GIRAPH
Resource Manager - Divise les deux fonctionnalités principales du JobTracker surchargé (gestion des ressources et planification / surveillance des travaux) en deux démons distincts: un gestionnaire de ressources global et un ApplicationMaster par application
Il existe des fonctionnalités supplémentaires telles que le planificateur de capacité (activer la prise en charge de la multi-location dans Hadoop), l'instantané de données, la prise en charge de Windows, l'accès NFS, permettant une adoption accrue de Hadoop dans l'industrie pour résoudre les problèmes de Big Data.
Hadoop 2.X contre Hadoop 1.X
Faisons une petite comparaison et voyons en quoi Hadoop 2.0 est meilleur et différent de Hadoop 1.0
Pourquoi Hadoop 2 est-il préféré à Hadoop 1.0?
Hadoop 2.0 offre des améliorations de performances qui bénéficient aux technologies associées de l'écosystème Hadoop. Outre les fonctionnalités révolutionnaires de HDFS et de l'architecture de deuxième génération (YARN), il existe de plus en plus de raisons de préférer Hadoop 2 à Hadoop 1.0:
Hadoop 2 n'a plus de restriction de langue. Cela signifie qu'un large éventail de professionnels peut désormais utiliser Hadoop.
Avec Hadoop 2, des obstacles tels que la pénurie de codeurs MapReduce sont surmontés.
2 fois plus rapide que Hadoop 1.0
2 fois le retour sur investissement avec le matériel existant.
Avec YARN, l'interface de programmation d'application est beaucoup plus ouverte et flexible.
Hadoop 2 élargit les possibilités d'utilisation de Hadoop dans les projets Big Data.
à quoi sert la marionnette
Avec Hadoop 2, les développeurs peuvent désormais effectuer une grande variété de tâches de traitement des données, au-delà de la portée précédente du traitement par lots de Hadoop.
Offre de nouvelles opportunités aux gestionnaires de l'information et corrige les lacunes des versions précédentes.
Cette nouvelle version a la caractéristique unique d'exécuter plusieurs charges de travail sur le même cluster Hadoop.
Hadoop n'est plus limité à une seule fonctionnalité. Son application s'étend désormais au-delà de HDFS et MapReduce.
Principaux avantages de YARN
Nous sommes conscients que YARN est une architecture de deuxième génération, voyons ce qui la rend si géniale.
Échelle
Nouveaux modèles et services de programmation
Utilisation améliorée du cluster
Agilité
Bien plus que Java
Et beaucoup plus
Demande de compétences Hadoop 2
Les organisations lancent ou expérimentent maintenant Hadoop 2. Par conséquent, il y a un besoin de professionnels qualifiés dans Hadoop 2. De nombreuses organisations ont déjà commencé à rechercher en interne des personnes pour travailler avec Hadoop. Il y a des indications claires que YARN est en hausse et finira par remplacer la demande de compétences MapReduce.
Voici quelques points de vue sur la demande actuelle et prévue de compétences Hadoop:
Selon les analystes de Gartner, Hadoop 2 est un développement vital, car les grandes entreprises du monde entier ont découvert que Hadoop changeait la donne dans leur gestion du Big Data.
Selon Eric Kavanagh, du groupe Bloor, Hadoop 2.0 a gagné du terrain parmi les travailleurs de l'information cherchant à lutter contre le Big Data.
L'adoption de Hadoop 2.0 continue d'être à la hausse et entre maintenant dans la phase de maturité.
Les organisations sont conscientes des avantages de YARN et en sont enthousiasmées.
Voici un aperçu des offres d'emploi pour Hadoop 2.0 / YARN en Indeed.com
Qui passe à Hadoop 2 ou l'a déjà fait?
Yahoo:
Yahoo! , le leader de tout ce que Hadoop a implémenté YARN (0.23.x). Selon Murthy, le cluster de 35 000 nœuds de Yahoo traite désormais 130 à 150 tâches par jour, contre 50 à 60 avant YARN.
comment configurer atom pour python
En parlant des performances exceptionnelles, Murthy cite: «Lorsque vous avez 2 fois plus de 35 000 à 40 000 nœuds, c'est phénoménal». Il a également ajouté: «C'est une histoire assez convaincante de raconter à un CIO que si vous mettez simplement à niveau votre logiciel de Hadoop 1 à Hadoop 2, vous verrez des améliorations de débit deux fois plus élevées dans vos travaux.»
eBay:
eBay possède l'un des plus grands clusters Hadoop du secteur, où les données sont en pétaoctets. Ils ont également migré leurs clusters vers Hadoop 2.
Conclusion:
Avec Hadoop 2 étant mature et plus facile à mettre en œuvre, ils convainquent même les sceptiques et de plus en plus d'organisations migrent vers Hadoop 2.0. Il y a des raisons valables d'éviter les versions 1.x. Mais avec Hadoop 2, même les incroyants le considèrent car il peut être utilisé pour un large éventail d'utilisations. En apprenant Hadoop 2.0 et en l'implémentant pour effectuer des calculs sur le Big Data, vous ouvrirez les portes d'une carrière techniquement avancée et financièrement enrichissante.
Vous avez une question pour nous? Veuillez les mentionner dans la section commentaires et nous vous recontacterons.
Articles Similaires:
Dans quelle mesure la formation Hadoop est-elle essentielle?