Hadoop之HDFS分布式文件系统

HDFS简介

Hadoop Distributed File System (HDFS): HDFS 是 Hadoop 的分布式文件系统，它设计用于存储大量数据，并提供 高吞吐率的数据访问，通过将数据分块存储在多个节点上，实现数据的冗余存储和容错。

HDFS重要概念

HDFS 通过统一的命名空间目录树来定位文件； 另外，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色（分布式本质是拆分，各司其职）。

• 典型的Master/Slave架构

HDFS集群往往是一个NameNode（HA架构会有两个NameNode,联邦机制）+多个DataNode组成。

• 分块存储（block机制）

HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定。

• 命名空间（NameSpace）

HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动。

Namenode 负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被

Namenode 记录下来。

• NameNode元数据管理

NameNode负责存储文件的元数据，比如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限ÿ