6.hadoop文件数据库系列讲解

学习总结

hadoop由两大块组成：hadoop自身+hadoop生态
hadoop管理的是文件，也就是相当于一个windows的文件资源管理器，文件可以是任意文件格式

hadoop的核心组件

hadoop的核心组件有hdfs,yarn,mapreduce

• hdfs是由两部分构成NameNode：节点目录，DataNode：数据保存节点，NameNode数量可以少于DataNode
• yarn是资源管理模块由两部分构成RouceManger：总的资源管理器,NodeManager：接收总的资源管理器调度的子资源管理器
• mapredue是一个离线计算工具，用来指挥yarn做计算调度的
  

hadoop生态

• 数据存储扩展:hbase,kafa,flume
• 数据计算查询：hive,spark
• 任务调度:Ozie

hadoop版本

一、Hadoop 版本主要有四个，分别是：

• Apache（最原始的版本，所有发行版均基于这个版本进行改进）
• Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）
• Hortonworks版本(Hortonworks Data Platform，简称HDP）
• CDP(CDH和HDP合并后的产品，是付费的没有免费版)

对于国内而言，绝大多数选择 CDH 版本，集成部署更加方便和易于管理