Dans ce blog, voyons comment créer Spark pour une version Hadoop spécifique.
Nous apprendrons également à construire Spark avec HIVE et YARN.
java exemple d'attente et de notification
Considérant que vous avez Hadoop, jdk, mvn et aller préinstallé et préconfiguré sur votre système.
Ouvert Navigateur Mozilla et télécharger Étincelle en utilisant le lien ci-dessous.
https://edureka.wistia.com/medias/k14eamzaza/
Terminal ouvert.
Commande: tar -xvf Downloads / spark-1.1.1.tgz
Commande: ls
Ouvrez le répertoire spark-1.1.1.
Tu peux ouvrir pom.xml fichier. Ce fichier vous donne les informations sur tous les dépendances vous avez besoin.
Ne le modifiez pas pour éviter les ennuis.
Commande: cd spark-1.1.1 /
Commande: sudo gedit sbt / sbt-launch-lib.bash
Modifiez le fichier comme ci-dessous, enregistrez-le et fermez-le.
Nous réduisons la mémoire pour éviter les problèmes d'espace de tas d'objets, comme mentionné dans l'instantané ci-dessous.
Maintenant, exécutez la commande ci-dessous dans le terminal pour créer spark pour Hadoop 2.2.0 avec HIVE et YARN.
Commande: ./sbt/sbt -P fil -P ruche -Phadoop-2.2 -D hadoop.version = 2,2,0 -D sauterTests Assemblée
Remarque: Ma version Hadoop est 2.2.0, vous pouvez la changer en fonction de votre version Hadoop.
Pour les autres versions de Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Cela prendra un certain temps pour la compilation et l'empaquetage, veuillez attendre qu'il se termine.
Deux pots spark-assembly-1.1.1-hadoop2.2.0.jar et spark-examples-1.1.1-hadoop2.2.0.jar est créé.
Chemin de spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Chemin de spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Félicitations, vous avez construit avec succès Spark pour Hive & Yarn.
Vous avez une question pour nous? Veuillez les mentionner dans la section commentaires et nous vous recontacterons.
Articles Similaires:
Apache Spark avec Hadoop - Pourquoi est-ce important?