Hadoop对集群的一些操作的命令介绍

创建文件夹

hadoop fs -mkdir hdfs://ip地址:端口号/文件路径
1

例如：

hadoop fs -mkdir hdfs://192.168.21.201:9000/icyhunter
1

如果配置了hosts文件，也可以

hadoop fs -mkdir hdfs://master/icyhunter
1

上传文件

hadoop fs -put a1.txt hdfs://192.168.21.201:9000/icyhunter/a2.txt
1

将当前目录下的a1.txt文件上传到集群上icyhunter的文件夹下并命名为a…txt

查看文件列表

hadoop fs -ls hdfs://192.168.21.201:9000/icyhunter
1

查看集群icyhunter文件夹下的文件列表信息

下载文件

hadoop fs -copyToLocal hdfs://172.21.6.156:9000/00/a2_2.txt  ~/ 
1

或者

hadoop fs -get hdfs://172.21.6.156:9000/00/a2_2.txt ~/
1

将集群上00文件夹下的a2_2.txt文件下载到home目录下

本地和集群之间移动文件

本地移动到hdfs: -moveFromLocal
hdfs移动到本地：-moveToLocal
移动就是说，本地移到集群，那么本地就没这个文件了。

在集群上移动文件（包括改文件名）

hadoop fs -mv hdfs://master:9000/00/a2.txt hdfs://master:9000/00/b2.txt
1

将a2.txt改名为b2.txt

删除文件

删除文件：-rm，删除文件 -rmdir 文件夹名

hadoop fs -rmdir hdfs://master:9000/00  //无法删除非空目录
1

hadoop fs -rm -r hdfs://master:9000/00 //能够删除非空目录
1

追加文件内容

hadoop fs -appendToFile aa1.txt hdfs://master:9000/0126/abc.txt
1

将aa1.txt的内容追加到abc.txt文件后面

查看文件内容

hadoop fs -cat hdfs://master:9000/0126/abc.txt
1

拷贝文件

hadoop -fs -cp hdfs://master:9000/0126/abc.txt hdfs://master:9000/0126
1

改名拷贝：

hadoop -fs -cp hdfs://master:9000/0126/abc.txt hdfs://master:9000/0132/abc_2.txt
1

将abc.txt文件复制到0132目录下并改名为abc_2.txt