大数据：Shell的操作

HDFS常用命令

• 启动Hadoop集群
• 命令：start-all.sh
  

一、创建目录

1、创建单层目录

• 命令hdfs dfs -mkdir /ied
  
• 利用Hadoop WebUI查看创建的目录
  

2、创建多层目录

• 命令：hdfs dfs -mkdir -p /luzhou/lzy
  
• 利用Hadoop WebUI查看创建的目录
  

查看目录

• 命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看）
  
• 命令：hdfs dfs -ls /luzhou
  
• 如果我们要查看根目录里全部的资源，那么要用到递归参数-R（必须大写）
• 命令：hdfs dfs -ls -R /
  

三、上传本地文件到HDFS

• 创建test.txt文件，执行命令：echo "hello hadoop world" > test.txt（>：重定向命令）
  
• 查看test.txt文件内容
• 命令：cat test.txt
  
• 上传test.txt文件到HDFS的/ied目录。
• 命令：hdfs dfs -put test.txt /ied
  
• 查看是否上传成功
• 命令：hdfs dfs -ls /ied
  
• 利用Hadoop WebUI界面查看
  
• 其中加上空格是18个字符，但是WedUI上显示的是19B，是因为还有看不见的结束符“\n”

四、查看文件内容

• 命令：hdfs dfs -cat /ied/test.txt
  

五、下载HDFS文件到本地

• 先删除本地的test.txt文件
• 命令：rm -rf test.txt
  
• 下载HDFS文件系统的/ied/test.txt到本地目录不改名
• 命令：hdfs dfs -get /ied/test.txt
  
• 检查是否下载成功
• 命令：ll test.txt
  
• 可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名
• 命令：hdfs dfs -get /ied/test.txt /home/exam.txt
  
• 检查是否下载成功
  

六、删除HDFS文件

• 命令：hdfs dfs -rm /ied/test.txt
  

• 检查是否删除成功
  

• 使用通配符，可以删除满足一定特征的文件

七、删除HDFS目录

• 命令：hdfs dfs -rmdir /luhzou
  
• 提示-rmdir命令不能删除非空目录
• 要递归删除才能删除非空目录
• 命令：hdfs dfs -rm -r /luzhou（-r：recursive）
  
• 删除空目录/BigData，首先创建一个BigData目录。
• 命令：hdfs dfs -mkdir /BigData
  
• 然后删除空目录BigData
• 命令：hdfs dfs -rmdir /BigData