【hadoop】常用命令

集群信息

查看hadoop版本

hadoop version

查询hdfs系统中的namenode

# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

hdfs getconf -confKey yarn.resourcemanager.webapp.address

安全模式

# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]# 
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait

文件操作

显示目录结构

[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r--   2 hdfs supergroup          7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L  "http://master:9870/webhdfs/v1?op=LISTSTATUS"

创建目录

hdfs dfs -mkdir /test

上传本地文件到指定目录下

hdfs dfs -put /tmp/test.txt /test

查看文件内容

hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

hdfs dfs -touch /test/test1.txt

重命名文件

hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

hdfs dfs -rm /test/test2.txt

删除文件夹

hdfs dfs -rm -r /test

下载文件到本地

hdfs dfs -get /test/test.txt /tmp

快照

允许快照

hdfs dfsadmin -allowSnapshot <path>

不允许快照

hdfs dfsadmin -disallowSnapshot <path>

创建快照

hdfs dfs -createSnapshot <path> <snapshotname>

删除快照

hdfs dfs -deleteSnapshot <path> <snapshotname>

重命名快照

hdfs dfs -renameSnapshot <path> <oldsnapshotname> <newsnapshotname>

获取快照列表

hdfs lsSnapshottableDir

获取快照差异报告

hdfs snapshotDiff <path> <fromsnamshotname> <tosnapshotname>

报错日志

日志目录： /var/log/hadoop-hdfs