Hadoop 教程 - HDFS概述

Hadoop Distributed File System (HDFS) 是Hadoop项目的核心组件之一，专为大规模数据处理而设计。以下是关于HDFS的一些关键概述和特性：

HDFS基本概念

• 设计目标：HDFS是为了处理和存储大规模数据集（通常是TB到PB级别）而设计的分布式文件系统。它的设计初衷是支持高数据吞吐量的应用程序，适合“一次写入，多次读取”的访问模式。

• 架构：HDFS采用主/从（Master/Slave）架构，主要由两部分组成：一个名为NameNode的主节点和多个DataNode从节点。NameNode负责管理文件系统的命名空间（namespace）以及客户端对文件的访问请求，而DataNodes则负责实际存储文件数据块。

• 数据块（Block）：与传统的文件系统不同，HDFS会将大的文件分割成固定大小的数据块，默认是128MB（这个值是可以配置的），并可以在多个DataNode上复制存储（默认是3份），以此来提高数据的可靠性和可用性。

• 容错机制：HDFS设计时充分考虑了容错性，能够自动处理硬件故障。当某个DataNode发生故障时，NameNode会将该节点上的数据块复制到其他健康的节点上，保证数据的完整性。

• 高可扩展性：HDFS可以容易地横向扩展，通过向集群中添加更多DataNode来增加存储容量和处理能力，从而适应不断增长的数据存储需求。

• 适用场景：由于其设计特点，HDFS特别适合于批处理作业，例如大数据分析、机器学习和离线数据处理任务，而不适用于低延迟数据访问或频繁修改的小文件存储。

HDFS的主要组件

• NameNode：存储文件系统的元数据，包括文件名、文件目录结构以及文件块到DataNode的映射关系。
• DataNode：实际存储文件数据块，并定期向NameNode报告其存储的状态。
• Secondary NameNode：并非NameNode的备份，而是帮助NameNode合并编辑日志，减少NameNode启动时间，但它不是必需组件，现代Hadoop中可能使用Checkpoint Node和Backup Node替代。

HDFS操作

• 读取操作：客户端向NameNode请求文件位置信息，NameNode返回文件数据块的位置列表，客户端直接与DataNodes交互读取数据。
• 写入操作：客户端向NameNode请求写入新文件，NameNode分配文件ID和数据块的位置信息，客户端直接将数据写入指定的DataNodes，且数据会被复制到其他DataNodes以保证冗余。

理解HDFS的工作原理对于有效利用Hadoop生态系统进行大数据处理至关重要。