5. hdfs的界面详解

简介

hdfs 提供了一个比较有好的web-ui界面，开启配置如下

在hdfs-site.xml添加

<property>
    <name>dfs.webhdfs.enabledname>
    <value>truevalue>
property>
1
2
3
4
5

访问，hadoop01:50070

Overview

Overview

hadoop01:9000   当前NameNode节点
active          表示当前节点为主节点，如果是standby表示备用节点
Started         集群启动时间
Version         hadoop版本
Compiled        该版本编译的时间
Cluster ID      集群ID,在格式化HDFS的时候就会创建，每个DataNode中都会存放该id，查看 cat /home/hadoop/hadoop-3.2.4/dfs/datanode/1/current/VERSION
Block Pool ID   文件块的id，也会保存在datanode
1
2
3
4
5
6
7

[hadoop@hadoop01 ~]$ ls /home/hadoop/hadoop-3.2.4/dfs/datanode/1/current
BP-2136351896-172.17.0.10-1700186762625 VERSION

[hadoop@hadoop01 ~]$ cat /home/hadoop/hadoop-3.2.4/dfs/datanode/1/current/VERSION
#Fri Nov 17 10:06:43 CST 2023
storageID=DS-6a9aa476-058c-4b88-b57f-219c1052173c
clusterID=CID-8b8829de-6328-40dc-97fa-410a618a1527
cTime=0
datanodeUuid=0f9af177-7b58-4984-a2c5-a0a5a504a6f3
storageType=DATA_NODE
layoutVersion=-57
1
2
3
4
5
6
7
8
9
10
11

Summary

Security is off.                    安全机制关闭
Safemode is off.                    安全模式关闭
Configured Capacity                 配置的容量
Configured Remote Capacity          romete容量
DFS Used                            分布式文件系统使用了的
Non DFS Used                        非分布式文件系统使用的
DFS Remaining                       剩余的容量
Block Pool Used                     文件块使用的
DataNodes usages% (Min/Median/Max/stdDev) 数据节点使用率（最小值/中间值/最大值/标准偏差）
Live Nodes                          存活的Node数
Dead Nodes                          死亡的datanode数
Decommissioning Nodes               退出停用的
Entering Maintenance Node           维护节点
Total Datanode Volume Failures      数据节点卷失败的总数
Number of Under-Replicated Blocks   复制不足的块数
Number of Blocks Pending Deletion   挂起删除的块数 
Block Deletion Start Time           块删除的开始时间
Last Checkpoint Time                上次检查点时间
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

NameNode Journal Status、NameNode Storage、DFS Storage Types

Journal Manager                 Journal Node 存储EditLog数据的路径
State                           Journal Node 存储EditLog数据的文件名
namenode存储edits与fsimage的路径  /home/hadoop/hadoop-3.2.4/dfs/namenode

## DFS Storage Types
Storage Type        集群存储类型  
Configured Capacity 配置容量 
Capacity Used       使用的容量 
Capacity Remaining  剩余容量 
Block Pool Used     使用的块池 
Nodes In Service    服务中的节点
1
2
3
4
5
6
7
8
9
10
11

Datanodes

Datanode usage histogram  数据节点使用树状图，磁盘使用率

运行中的节点
Node            node的名字
Last contact    最后连接的时间
Capacity        总容量
Blocks          数据块的数量
Block pool used 块的总容量大小
Version         hadoop的版本
1
2
3
4
5
6
7
8
9

Datanode Volume Failures

磁盘故障

node                        节点名
last failure date           实效时间
failed volumes              实效卷数量
estimated capacity lost     估计丢失的容量
failed storage locations    实效卷的位置
1
2
3
4
5

Snapshot

快照信息

Startup Progress

启动页信息

Loading fsimage 启动加载的fsimage
Loading edits  启动加载的edits
Saving checkpoint
1
2
3

工具页

Browse the file system  文件系统浏览
logs                    hdfs组件的日志
log level               查看和设置日志级别
Metrics                 查看JMX调试信息
Configuration           当前生效的配置
Process Thread Dump     线程堆栈信息
1
2
3
4
5
6

文件系统浏览

在这里，可以创建文件目录，上传文件，查看文件块信息，查看文件内容，修改文件所属，删除文件等

logs

有 datanode,namenode,journalnode,zkfc的日志

log level

可以设置日志级别

JMX调试信息

线程堆栈信息

---

欢迎关注，学习不迷路！