Hadoop之HDFS——【模块一】元数据架构

一、元数据是什么

在HDFS中，元数据主要指的是文件相关的元数据，通过两种形式来进行管理维护，第一种是内存，维护集群数据的最新信息，第二种是磁盘，对内存中的信息进行维护与持久化，由namenode管理维护。从广义的角度来说，因为namenode还需要管理众多的DataNode结点，因此DataNode的位置和健康状态信息也属于元数据。

二、文件的组成

meta:文件的索引，文件和目录是文件系统的基本元素，HDFS将这些元素抽象成INode，每一个文件或目录都对应一个唯一的INode。

block:真实的数据存储的位置，Block是对于文件内容组织而言的，按照固定大小，顺序对文件进行划分并编号，划分好的每一个块就称之为一个Block。

三、namenode的功能

1、管理HDFS命名空间（文件目录树及其目录与文件的元数据），并以fsimage进行持久化保存。

2、处理客户端的访问，并将修改动作记录到edits文件中。

3、在内存中维护数据块的映射信息，即块文件与datanode的对应关系,namenode只在内存中维护此关系，不会永久化到磁盘上，因此在集群刚启动是，namenode中并没有块文件与datanode的对应关系，需要datanode上报自身的块文件信息后，才可以正常工作。

4、实施副本冗余策略，当实际副本数小于配置数时，会启动复制块的线程，直到个数达配置数。

四、namenode的启动过程

1. 加载预先生成的持久化文件fsimage。
2. 加载没有完成处理的edit log文件。
3. 等待DataNode注册和汇报其所包含的block数据，校验meta信息和block数据是否一致。

五、datanode的全量上报过程

• DataNode启动后通过RPC方式向NameNode注册，注册时携带的信息有：Software Version(当前DataNode版本号) storageInfo（集群信息）DataNodeId（节点自身信息）
• 全量上报当前DataNode所有的block块信息，包括block ID、所属文件、存储位置等，目的分别是使用NameNode维护集群数据，与meta进行校验。

1. 维护集群数据：NameNode需要知道集群中每个DataNode上存储了哪些block块以及其所属的文件信息，以便在需要时能够有效地管理和调度这些数据块。DataNode会周期性地向NameNode报告自己所存储的所有block块的信息，包括block ID、所属文件、存储位置等。

2. 校验meta：在Hadoop集群中，为了确保数据的一致性和完整性，通常会使用Checksum来对数据进行校验。当DataNode上报block块信息时，NameNode会使用这些信息来验证各个DataNode上的block块是否完整、准确，并且与元数据中记录的信息一致。这样可以确保数据在集群中的可靠性。

3. 例如，当一个DataNode上报block块信息给NameNode时，NameNode会检查这些信息，确保每个block块的ID、所属文件、复本数量等信息都是正确的。同时，NameNode也会对这些block块所在的DataNode进行通信，验证每个block块的Checksum值，以确保数据的完整性和一致性，Checksum是存储在DataNode的块信息中的，与数据一起存储。全量上报的时候，通过RPC一次性将所有的block发送给namenode比较浪费资源，采用限制分批次的方式，一次只能处理100w的block。

• NameNode收到后，向元数据中记录
• DataNode每周期上报块信息（默认6小时，可配置）
• 心跳检测，三秒一次
• DataNode超过10分钟+30秒没有上报心跳，则NameNode将该节点移出认为该节点不可用

六、FSNamesystem的主要功能

1. 命名空间管理： FSNamesystem负责维护HDFS的命名空间，包括文件和目录的创建、删除、重命名等操作，以及管理命名空间中的元数据信息。FSDirectory

2. 数据块管理： FSNamesystem负责管理HDFS中数据块的分配、复制、移动和删除等操作，确保数据块的可靠性和高可用性。BlockManager（维护集群中的数据块信息和数据块状态）

3. 安全性管理： FSNamesystem负责对HDFS中的文件和目录进行权限控制，验证用户对文件系统的访问权限，并确保数据的安全性。

4. 故障处理： FSNamesystem能够检测和处理DataNode的故障，及时调整数据块的复制策略，以保证数据的可靠性和完整性。

5. 元数据持久化：