一文理解Hadoop分布式存储和计算框架入门基础

🚀 优质资源分享 🚀

@

目录* 概述
+ 定义
+ 发展历史
+ 发行版本
+ 优势
+ 生态项目

• 架构
  • 组成模块
  • HDFS架构
  • YARN架构
• 部署
  • 部署规划
  • 前置条件
  • 部署步骤
    • 下载文件（三台都执行）
    • 创建目录(三台都执行)
    • 配置环境变量(三台都执行)
    • 安装和配置（hadoop1上执行）
    • 启动和停止Hadoop
    • HDFS环境测试
    • 计算和资源环境测试

概述

定义

Hadoop 官网地址 https://hadoop.apache.org/

Hadoop GitHub地址 https://github.com/apache/hadoop

Hadoop 文档地址 https://hadoop.apache.org/docs/stable/

Apache Hadoop是一个由 Apache 基金会所开发的分布式存储和计算的基础框架，使用简单的编程模型跨计算机集群分布式处理海量数据，也即是主要解决海量数据的存储和海量数据的分析计算问题。

Apache Hadoop可从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储，实现存储和计算高可用性；而从广义上来说， Hadoop 通常是指一个更广泛的概念 —— Hadoop 生态圈。

发展历史

• Hadoop 创始人 Doug Cutting ，为了实现与 Google 类似的全文搜索功能，他在 Lucene 框架基础上进行优化升级，查询引擎和索引引擎。
• 2001 年年底 Lucene 成为 Apache 基金会的一个子项目。
• 对于海量数据的场景， Lucene 框架面对与 Google 同样的困难， 存储海量数据困难，检索海量速度慢 。
• 学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch 。
• 可以说 Google 是 Hadoop 的思想之源（ Google 在大数据方面的三篇论文，GFS —>HDFS、Map-Reduce —>MR、BigTable —>HBase）。
• 2003-2004 年， Google 公开了部分 GFS 和 MapReduce 思想的细节，以此为基础 Doug Cutting 等人用了 2 年业余时间 实现了 DFS 和 MapReduce 机制，使 Nutch 性能飙升。
• 2005 年 Hadoop 作为 Lucene 的子项目 Nutch 的一部分正式引入 Apache 基金会。
• 2006 年 3 月份， Map-Reduce 和 Nutch Distributed File System （ NDFS ）分别被纳入到 Hadoop 项目中， Hadoop 就此正式诞生，标志着大数据时代来临。
• 名字来源于 Doug Cutting 儿子的玩具大象。

发行版本

Hadoop 发行版除了Apache的开源版本之外，还有华为发行版、Intel发行版、Cloudera发行版(CDH)、Hortonworks发行版（HDP）、MapR等，所有这些发行版均是基于Apache Hadoop衍生出来的。

• Apache Hadoop 原生版本，其优点完全开源免费，社区活跃，文档、资料详实。缺点复杂版本管理，复杂的集群部署、安装、配置，复杂的集群运维，复杂的生态环境兼容性和冲突，因此仅适用于以学习原理部署方式。
• Cloudera Hadoop（CDH）：cloudera研发了cloudera manger、cdh大数据分析集成平台、cloudera Support；也是最成型的发行版本，拥有最多的部署案例；提供强大的部署、管理和监控工具；Cloudera开发并贡献了可实时处理大数据的Impala项目。
• Hortonworks Hadoop（HDP）hortonworks研发了Ambari和hdp的大数据分析集成平台。
• CDP：在Cloudera和Hortonworks合并后,Cloudera公司推出了新一代的数据平台产品CDP Data Center(以下简称为CDP).
• TDH：星环科技开发，是国内首个全面支持Spark的Hadoop发行版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台。
• MapR：获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS。

优势

• 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
• 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点