🚀 优质资源分享 🚀
@
目录* 概述
+ 定义
+ 发展历史
+ 发行版本
+ 优势
+ 生态项目
概述
定义
Hadoop 官网地址 https://hadoop.apache.org/
Hadoop GitHub地址 https://github.com/apache/hadoop
Hadoop 文档地址 https://hadoop.apache.org/docs/stable/
Apache Hadoop是一个由 Apache 基金会所开发的分布式存储和计算的基础框架，使用简单的编程模型跨计算机集群分布式处理海量数据，也即是主要解决海量数据的存储和海量数据的分析计算问题。
Apache Hadoop可从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储，实现存储和计算高可用性；而从广义上来说， Hadoop 通常是指一个更广泛的概念 —— Hadoop 生态圈。
发展历史
- Hadoop 创始人 Doug Cutting ，为了实现与 Google 类似的全文搜索功能，他在 Lucene 框架基础上进行优化升级，查询引擎和索引引擎。
- 2001 年年底 Lucene 成为 Apache 基金会的一个子项目。
- 对于海量数据的场景， Lucene 框架面对与 Google 同样的困难， 存储海量数据困难，检索海量速度慢 。
- 学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch 。
- 可以说 Google 是 Hadoop 的思想之源（ Google 在大数据方面的三篇论文，GFS —>HDFS、Map-Reduce —>MR、BigTable —>HBase）。
- 2003-2004 年， Google 公开了部分 GFS 和 MapReduce 思想的细节，以此为基础 Doug Cutting 等人用了 2 年业余时间 实现了 DFS 和 MapReduce 机制，使 Nutch 性能飙升。
- 2005 年 Hadoop 作为 Lucene 的子项目 Nutch 的一部分正式引入 Apache 基金会。
- 2006 年 3 月份， Map-Reduce 和 Nutch Distributed File System （ NDFS ）分别被纳入到 Hadoop 项目中， Hadoop 就此正式诞生，标志着大数据时代来临。
- 名字来源于 Doug Cutting 儿子的玩具大象。
发行版本
Hadoop 发行版除了Apache的开源版本之外，还有华为发行版、Intel发行版、Cloudera发行版(CDH)、Hortonworks发行版（HDP）、MapR等，所有这些发行版均是基于Apache Hadoop衍生出来的。
- Apache Hadoop 原生版本，其优点完全开源免费，社区活跃，文档、资料详实。缺点复杂版本管理，复杂的集群部署、安装、配置，复杂的集群运维，复杂的生态环境兼容性和冲突，因此仅适用于以学习原理部署方式。
- Cloudera Hadoop（CDH）：cloudera研发了cloudera manger、cdh大数据分析集成平台、cloudera Support；也是最成型的发行版本，拥有最多的部署案例；提供强大的部署、管理和监控工具；Cloudera开发并贡献了可实时处理大数据的Impala项目。
- Hortonworks Hadoop（HDP）hortonworks研发了Ambari和hdp的大数据分析集成平台。
- CDP：在Cloudera和Hortonworks合并后,Cloudera公司推出了新一代的数据平台产品CDP Data Center(以下简称为CDP).
- TDH：星环科技开发，是国内首个全面支持Spark的Hadoop发行版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台。
- MapR：获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS。
优势
- 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
- 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点