大数据开发 hadoop集群 2.hadoop框架入门

自从我学会了寻找，我就已经找到                ——史铁生

                                                                                                —— 24.3.10

内容简介 

Hadoop入门：

①概念        ②环境准备        ③hadoop生产集群搭建        ④常见错误的解决方案

①概念：1.Hadoop是什么   2.Hadoop发展历史   3.Hadoop的三大发行版本   4.Hadoop的优势   5.Hadoop的组成   6.大数据技术生态体系 7.推荐系统案例

②环境准备（前戏）：1模板虚拟机准备   2.克隆   3.安装JDK、Hadoop

③Hadoop生产集群搭建：1.本地模式   2.完全分布式（开发和面试的重点）   

一、hadoop是什么

1>Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2>主要解决，海量数据的存储和海量数据的分析计算问题

3>广义上说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈

二、Hadoop的发展历史

1>Hadoop创始人DougCutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优级，查询引擎和索引引擎。

2)2001年年底Lucene成为Apache基金会的一个子项目

3)对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢

4)学习和模仿Google解决这些问题的办法:微型版Nutch。

5>   可以说Google是Hadoop的思想之源

                GFS ---> HDFS

                Map-Reduce ---> MR

                BigTable ---> HBase

6)2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础DougCutting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。
7)2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。
8)2006年3月份，Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入到 Hadoop 项Hadoop就此正式诞生，标志着大数据时代来临。中，
9)名字来源于Doug Cutting儿子的玩具大象

三、Hadoop 三大发行版本(了解)

Hadoop三大发行版本:Apache、Cloudera、Hortonworks。

Apache 版本最原始(最基础)的版本，对于入门学习最好。2006eCloudera内部集成了很多大数据框架，对应产品CDH。2008

Hortonworks文档较好，对应产品HDP。

Hortonworks 现在已经被Cloudera 公司收购，推出新的品牌CDP

四、Hadoop优势（四高）

1>高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失

2>高拓展性：在集群间分配任务数据，可方便的拓展数以千计的节点

3>高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度

4>高容错性：能够自动将失败的任务重新分配

五、Hadoop的组成

5.1 1.x、2.x、3.x的组成区别

5.2 HDFS架构概述

Hadoop Distributed File System 简称 HDFS，是一个分布式文件系统

1)NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数文件权限)，以及每个文件的块列表和块所在的DataNode等。
2)DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验和。
3)Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份，

5.3 YARN 架构概述 

Yet Another Resource Negotiator 简称 YARN，另一种资源协调者，是Hadoop的资源管理器

5.4 MapReduce 架构概述 

MapReduce将计算过程分为两个阶段：Map和Reduce

1)Map阶段并行处理输入数据

2)Reduce阶段对Map结果进行汇总

5.5 HDFS、YARN、MapReduce三者关系

六、大数据技术生态体系*

七、推荐系统的架构图