Nous avons appris à Construisez Hive and Yarn sur Spark . Maintenant, essayons des exemples Hive et Yarn sur Spark.
Exemple de Hive sur Spark
Nous allons exécuter un exemple de Hive sur Spark. Nous allons créer une table, charger des données dans cette table et exécuter une requête simple. Lorsque vous travaillez avec Hive, il faut construire un HiveContext qui hérite de SQLContext .
Commander: cd spark-1.1.1
Commander: ./bin/spark-shell
Créer un fichier d'entrée 'échantillon' dans votre répertoire personnel comme ci-dessous snapshot (séparé par des tabulations).
Commander: val sqlContext = nouveau org.apache.spark.sql.hive.HiveContext (sc)
Commander: sqlContext.sql ('CREATE TABLE IF NOT EXISTS test (name STRING, rank INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY' 'LINES TERMINATED BY'
«»)
comment faire une alerte en javascript
Commander: sqlContext.sql ('LOAD DATA LOCAL INPATH' / home / edureka / sample 'INTO TABLE test')
Commander: sqlContext.sql («SELECT * FROM test WHERE rang<5”).collect().foreach(println)
Exemple de fil sur Spark
Nous allons exécuter l'exemple SparkPi sur Yarn. Nous pouvons déployer Yarn sur Spark dans deux modes: le mode cluster et le mode client. En mode Yarn-cluster, le pilote Spark s'exécute dans un processus maître d'application qui est géré par Yarn sur le cluster, et le client peut disparaître après le lancement de l'application. En mode client-yarn, le pilote s'exécute dans le processus client et le maître d'application n'est utilisé que pour demander des ressources à Yarn.
comment créer une chaîne aléatoire en java
Commander: cd spark-1.1.1
Commander: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Après avoir exécuté la commande ci-dessus, veuillez attendre un certain temps jusqu'à ce que vous obteniez RÉUSSI message.
Feuilleter localhost: 8088 / cluster et cliquez sur l'application Spark.
Cliquer sur journaux .
Cliquer sur stdout pour vérifier la sortie.
Pour déployer Yarn sur Spark en mode client, faites simplement –Deploy-mode comme 'client'. Maintenant, vous savez comment créer Hive and Yarn sur Spark. Nous avons également fait des travaux pratiques sur eux.
Vous avez une question pour nous? Veuillez les mentionner dans la section commentaires et nous vous recontacterons.
Articles Similaires
Apache Spark avec Hadoop - Pourquoi est-ce important?
apprendre ssis étape par étape
Hive & Yarn sont électrifiés par Spark