Hadoop -HDFS常用操作指令

1.启动HDFS

hadoop/sbin/start-dfs.sh
1

2.关闭 HDFS

hadoop/sbin/stop-dfs.sh
1

3. 在HDFS中创建文件夹

#老版本
hadoop fs -mkdir  -p  path
#新版本
hadoop dfs -mkdir  -p  path
1
2
3
4

4.查看指定目录下内容

hadoop fs -ls  [-h] [-R] path
hadoop dfs -ls  [-h] [-R] ptah
1
2

• path 指定目录路径
• -h 人性化显示文件size
• -R 递归查看指定目录及其子目录

5.上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc> ... <dst>
hdfs dfs -put [-f] [-p] <localsrc> ... <dst>
1
2

• -f 覆盖目标文件（已存在下）
• -p 保留访问和修改时间，所有权和权限。
• localsrc 本地文件系统（客户端所在机器）
• dst 目标文件系统（HDFS）

6.查看hdfs 文件内容

hadoop fs -cat <src> ... 
hdfs dfs -cat <src> ...
1
2

7.下载HDFS 文件

hadoop fs -get [-f] [-p] <src> ... <localdst>
hdfs dfs -get [-f] [-p] <src> ... <localdst>
1
2

• 下载文件到本地文件系统指定目录，localdst必须是目录
• -f 覆盖目标文件（已存在下）
• -p 保留访问和修改时间，所有权和权限

8.拷贝HDFS文件

hadoop fs -cp [-f] <src> ... <dst> 
hdfs dfs -cp [-f] <src> ... <dst>
1
2

• -f 覆盖目标文件（已存在下）
• src 和dst 都必须是HDFS下的路径

9.追加数据到HDFS文件中

hadoop fs -appendToFile <localsrc> ... <dst>
hdfs dfs -appendToFile <localsrc> ... <dst>
1
2

• 将所有给定本地文件的内容追加到给定dst文件。
• dst如果文件不存在，将创建该文件。

10.HDFS 删除文件

hadoop fs -rm -r [-skipTrash] URI [URI ...]
hdfs dfs -rm -r [-skipTrash] URI [URI ...]	
1
2

• 删除指定路径的文件或文件夹
• -skipTrash 跳过回收站，直接删除

12.HDFS 移除文件

hadoop fs -mv <src> ... <dst>
hdfs dfs -mv <src> ... <dst>	
1
2

• 移动文件到指定文件夹下
• 可以使用该命令移动数据，重命名文件的名称