Hadoop集群简介

Hadoop集群整体概述：

Hadoop集群包括两个集群：HDFS集群、YARN集群
两个集群逻辑上分离(两个集群互相之间没有依赖、互不影响)、通常物理上在一起(某些角色进程往往部署在同一台物理服务器上)
两个集群都是标准的主从架构集群

MapReduce算是集群吗？

MapReduce:是计算框架、代码层面的组件没有集群之说

HDFS架构概述

1）NameNode（nn）：存储文件的无数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限，以及每个文件的块列表和块所在的DataNode等。
2）DataNode(dn):在本地文件系统存储文件块数据以及块数据的校验和
3）Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份

YARN架构概述

MapReduce架构概述

1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总

HDFS、YARN、MapReduce三者关系

大数据技术生态体系

推荐系统项目框架