Commandes HDFS: commandes Hadoop Shell pour gérer HDFS



Ce blog parle des différentes commandes HDFS comme fsck, copyFromLocal, expunge, cat etc. qui sont utilisées pour gérer le système de fichiers Hadoop.

Commandes HDFS

Dans mon blogs précédents , J'ai déjà discuté de ce qu'est HDFS, de ses fonctionnalités et de son architecture. Le premier pas vers le voyage vers exécute des commandes HDFS et explore le fonctionnement de HDFS. Dans ce blog, je parlerai des commandes HDFS à l'aide desquelles vous pouvez accéder au système de fichiers Hadoop.

Alors, laissez-moi vous dire les commandes HDFS importantes et leur fonctionnement qui sont les plus fréquemment utilisées lorsque vous travaillez avec Hadoop File System.





  • fsck

Commande HDFS pour vérifier la santé du système de fichiers Hadoop.

Commander: hdfs fsck /



Santé du système de fichiers HDFS - Commandes HDFS - Edureka

  • ls

Commande HDFS pour afficher la liste des fichiers et répertoires dans HDFS.

Commander: hdfsdfs –Ls /



  • mkdir

Commande HDFS pour créer le répertoire dans HDFS.

Usage: hdfs dfs –mkdir / nom_répertoire

Commander: hdfs dfs –mkdir / new_edureka

Remarque: Ici, nous essayons de créer un répertoire nommé «new_edureka» dans HDFS.

  • touchz

Commande HDFS pour créer un fichier en HDFS avec une taille de fichier de 0 octet.

Usage: hdfs dfs –touchz / répertoire / nom de fichier

Commander: hdfs dfs –touchz / new_edureka / sample

Remarque: Ici, nous essayons de créer un fichier nommé «sample» dans le répertoire «new_edureka» de hdfs avec une taille de fichier de 0 octets.

  • du

Commande HDFS pour vérifier la taille du fichier.

Usage: hdfs dfs –du –s / répertoire / nom de fichier

Commander: hdfs dfs –du –s / new_edureka / sample

  • chat

Commande HDFS qui lit un fichier sur HDFS et imprime le contenu de ce fichier sur la sortie standard.

Usage: hdfs dfs –cat / chemin / vers / file_in_hdfs

Commander: hdfs dfs –cat / new_edureka / test

  • texte

Commande HDFS qui prend un fichier source et génère le fichier au format texte.

comment faire des pouvoirs en java

Usage: hdfs dfs –text / répertoire / nom de fichier

Commander: hdfs dfs –text / new_edureka / test

  • copyFromLocal

Commande HDFS pour copier le fichier d'un système de fichiers local vers HDFS.

Usage: hdfs dfs -copyFromLocal

Commander: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka

Remarque: Ici, le test est le fichier présent dans le répertoire local / home / edureka et une fois la commande exécutée, le fichier de test sera copié dans le répertoire / new_edureka de HDFS.

  • copyToLocal

Commande HDFS pour copier le fichier de HDFS vers le système de fichiers local.

Usage: hdfs dfs -copyToLocal

Commander: hdfs dfs –copyToLocal / new_edureka / test / home / edureka

Remarque: Ici, test est un fichier présent dans le répertoire new_edureka de HDFS et une fois la commande exécutée, le fichier de test sera copié dans le répertoire local / home / edureka

analyser double en int java
  • mettre

Commande HDFS pour copier une ou plusieurs sources du système de fichiers local vers le système de fichiers de destination.

Usage: hdfs dfs -put

Commander: hdfs dfs –put / home / edureka / test / utilisateur

Remarque: La commande copyFromLocal est similaire à la commande put, sauf que la source est limitée à une référence de fichier locale.

  • avoir

Commande HDFS pour copier des fichiers de hdfs vers le système de fichiers local.

Usage: hdfs dfs -get

Commander: hdfs dfs –get / utilisateur / test / home / edureka

Remarque: La commande copyToLocal est similaire à la commande get, sauf que la destination est limitée à une référence de fichier local.

  • compter

Commande HDFS pour compter le nombre de répertoires, fichiers et octets sous les chemins correspondant au modèle de fichier spécifié.

Usage: hdfsdfs -count

Commander: hdfs dfs - nombre / utilisateur

  • rm

Commande HDFS pour supprimer le fichier de HDFS.

Usage: hdfs dfs –rm

Commander: hdfs dfs –rm / new_edureka / test

  • rm -r

Commande HDFS pour supprimer tout le répertoire et tout son contenu de HDFS.

Usage: hdfs dfs -rm -r

Commander: hdfs dfs -rm -r / nouvelle_edureka

  • cp

Commande HDFS pour copier les fichiers de la source vers la destination. Cette commande autorise également plusieurs sources, auquel cas la destination doit être un répertoire.

Usage: hdfs dfs -cp

Commander: hdfs dfs -cp / utilisateur / hadoop / fichier1 / utilisateur / hadoop / fichier2

Commander: hdfs dfs -cp / utilisateur / hadoop / fichier1 / utilisateur / hadoop / fichier2 / utilisateur / hadoop / dir

  • mv

Commande HDFS pour déplacer les fichiers de la source vers la destination. Cette commande autorise également plusieurs sources, auquel cas la destination doit être un répertoire.

Usage: hdfs dfs -mv

Commander: hdfs dfs -mv / utilisateur / hadoop / fichier1 / utilisateur / hadoop / fichier2

  • effacer

Commande HDFS qui vide la corbeille.

Commander: hdfsdfs-effacer

  • rmdir

Commande HDFS pour supprimer le répertoire.

Usage: hdfs dfs -rmdir

Commander: hdfs dfs –rmdir / utilisateur / hadoop

  • usage

Commande HDFS qui renvoie l'aide pour une commande individuelle.

Usage: hdfs dfs -utilisation

Commander: hdfs dfs -usage mkdir

comment inverser la chaîne en python

Remarque: En utilisant la commande d'utilisation, vous pouvez obtenir des informations sur n'importe quelle commande.

  • Aidez-moi

Commande HDFS qui affiche l'aide pour une commande donnée ou pour toutes les commandes si aucune n'est spécifiée.

Commander: hdfs dfs-aide

C'est la fin du blog des commandes HDFS, j'espère que c'était instructif et que vous avez pu exécuter toutes les commandes. Pour plus de commandes HDFS, vous pouvez vous référer à Apache HadoopDocumentation Ici.

Maintenant que vous avez exécuté les commandes HDFS ci-dessus, consultez le par Edureka, une entreprise d'apprentissage en ligne de confiance avec un réseau de plus de 250 000 apprenants satisfaits répartis dans le monde entier. Le cours de formation à la certification Edureka Big Data Hadoop aide les apprenants à devenir des experts en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume et Sqoop en utilisant des cas d'utilisation en temps réel sur le domaine du commerce de détail, des médias sociaux, de l'aviation, du tourisme et de la finance

Vous avez une question pour nous? Veuillez le mentionner dans la section commentaires et nous vous recontacterons.