Si vous êtes déjà du Industrie informatique , vous devez être conscient que Big Data est le discours du jour. Qu'il s'agisse de nouvelles startups proposant des modèles commerciaux innovants, ou de vos collègues qui souhaitent rejoindre ces startups, pour une raison quelconque, aujourd'hui des pâturages plus verts semble être le Big Data industrie.
Si vous vous demandez pourquoi, je vous recommande de lire ceci jusqu'à la toute fin, car il peut s'agir d'un blog auto-explorateur, vous menant à ce à quoi vous êtes destiné.
Alors pourquoi tout çaENGOUEMENTalentours BIG DATA?
Est-ce juste un autre domaine qui va accueillir temporairement des réfugiés de tous les autres domaines? Ou sera-ce là pour le long terme?
Si je devais deviner, je dirais que non seulement ce sera là pour le long terme, mais que l'industrie du Big Data sera à l'épicentre du progrès technologique.
Parce que tout est surLES DONNÉES!
Tout comme le soleilmonteduestetensemblesdans leOuest, l'utilisation continue d'appareils informatiques / non informatiques entraînera une explosion de données ingérables.
Lorsque ces données franchissent le seuil, d'être traitées par Excel ou tout système de gestion de base de données, nous les appelons BIG DATA .
Pensez, quel est le dernier produit que vous avez acheté sur Amazon? Quel peut être le prochain produit que vous pourriez acheter en fonction de votre activité passée? Les réponses à ces questions sont stockées dans le Big Data.
Y a-t-il une tendance croissante derrière un produit? Ou y a-t-il une tendance à la baisse? Un client achètera-t-il des «bas» lorsqu'il achète des «chaussures»? Ce sont des questions de résolution de problèmes commerciaux.
Et ces questions peuvent être facilement répondu en utilisant Analyse de Big Data .
Après tout, à quoi servent les données, quand vous n’êtes pas en cours d'analyse il?
Alors, le Big Datacomplètement surAnalytique?Pas complètement, mais Analytics est le prix ultime.
Les autres flux majeurs du Big Data sontEspace de rangementetLa gestion.
gestion des achats en gestion de projet
C'est là que vous pouvez contribuer en tant que professionnel. Vous pouvez assumer le rôle de:
- Ingénieur Big Data
- Architecte de solution Big Data
Et assurez-vous que les données volumineuses générées sont toujours disponibles et qu'elles peuvent être utilisées ultérieurement pour des analyses. Donc cela nous amène à la question & hellip
Où sont stockées les Big Data?
Peut-il être stocké dans unfichier Excel? Peut-il être stocké dans unsystème de base de données relationnelle?
Sûrement pas!
Si cela avait pu l'être, alors ça l'aurait été!
Et être appelé quelque chose de différent tous ensemble. Peut-être quelque chose commeDonnées ExcelouDonnées RDBMS:RÉ
Et cela nous ramènerait à ÉTAPE 1 : - Pourquoi le Big Data ne peut-il pas être géré avec Excel? CarLe Big Data est trop chaud pour être géré par Excel. Et même d'autres systèmes de gestion de base de données pour une question de fait.
Alors, quelle est l'alternative?
Pour gérer le Big Data, nous avons HADOOP . Vous connaissez peut-être ce mot aussi. Mais, vous vous demandez peut-être comment cela fonctionne-t-il exactement?
Pour commencer, HADOOP est un produit deFondation APACHE. Apache est une organisation américaine à but non lucratif qui soutient le développement de logiciels open source.
Hadoop est défini comme un cadre de programmation open-source basé sur Java qui prend en charge le traitement et le stockage d'ensembles de données extrêmement volumineux dans un environnement informatique distribué.
Que peut faire Hadoop, mais pas Excel?
Traitez et comprenez les données non structurées!Les données structurées qui sont au format tabulaire ou autrement peuvent être facilement traitées. Excel peut le faire, tout comme tout autre SGBDR.
Mais lorsque la lisibilité diminue et que les données ne sont pas structurées, c'est là que le Big Datades outils comme HadoopBut. Un exemple de données non structurées est syslog . Un exemple d'image est ci-dessous.
Ces journaux ne peuvent certainement pas être interrogés à l'aide d'Excel.
Hadoop, comme les outils Big Data, peut comprendre les données telles qu'elles sont, en découvrant des modèles et en créant des relations entre différents domaines. Et une fois que les données ont une touche relationnelle, elles sontPrêt pour l'analyse.
L'analyse est ce qui aura un impact commercial sur une organisation! Votre carrière bénéficiera largement de son implication dans ce domaine du Big Data.
' Puis-je le faire en tant que Hadoop-er? '
… Peut être la prochaine question qui vous préoccupe. Et à juste titre, le Big Data est un marché toujours aussi chaud et important que jamais.
Sans Hadoop, les entreprises auront du mal à gérer le Big Data. Et sans professionnels qualifiés comme vous, les entreprises auront du mal à traiter avec Hadoop.
Il y a un rapport qui dit qu'il y a un déficit de talents dans ce domaine. Un déficit de salaire signifie moins de professionnels mais une forte demande. Et cela est à l'échelle mondiale et ne se limite pas à une géographie particulière.
Voulez-vous des chiffres?
À McKinsey Global Institute Une étude indique que les États-Unis seront confrontés à une pénurie d'environ 190000 scientifiques des données et 1,5 million de gestionnaires et d'analystes capables de comprendre et de prendre des décisions à l'aide du Big Data d'ici 2018.
Des conseils de carrière pour vous? Surfez quand les marées sont basses!
Mais es-tu limité à seulement Hadoop ?
Pas vraiment. Il existe un certain nombre d'outils pour traiter le Big Data, et Hadoop est considéré comme l'un des meilleurs. Mais pas à chaque fois!
Il y a des moments où Hadoop n'est pas la meilleure solution. Par exemple, si vous êtes une personne non technique qui n'est pas très douée pour écrire des programmes MapReduce.
Dans de tels cas, vous pouvez utiliserTALEND, qui vous donne une interface utilisateur graphique pour faire tout ce que vous auriez fait autrement avec MapReduce.
Pour écrire des codes Java plus simples, vous pouvez utiliserPORC.
Si vous souhaitez exécuter des requêtes de type SQL sur Big Data, alorsRUCHEpeut être utilisé.
Si vous souhaitez utiliser des données stockées dans une base de données NoSQL, alorsHBasepeut être utilisé.
Pour effectuer des analyses en temps réel, vous pouvez utiliserÉTINCELLE.
qu'est-ce que la marionnette et le chef
Ce sont des outils Big Data, qui vont de pair avec Hadoop, mais ils ne remplacent en rien Hadoop. Ce sont des modules complémentaires Hadoop pour le Big Data.
En outre, il existe quelques autres outils tels que SQOOP, FLUME, OOZIE, etc. qui peuvent être intégrés au framework Hadoop pour résoudre divers problèmes commerciaux.
Qu'est-ce que l'industrie attend de vous en tant qu'expert du Big Data?
L'industrie a cruellement besoin de ARCHITECTES DE BIG DATA qui peuvent créer une solution Big Data de bout en bout pour leurs organisations. Les architectes Big Data sont ceux qui ont une expertise dans tous les outils mentionnés précédemment.
Voici le témoignage d'un apprenant d'Edureka sur cours:
Devenir un à partir de la formation de certification Big Data et Hadoop d'Edureka qui aide les apprenants à devenir experts en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume et Sqoop en utilisant des cas d'utilisation en temps réel sur le commerce de détail, les médias sociaux, l'aviation, le tourisme, la finance .