共3部分

hdfs  分布式（类似硬盘）
MapReduce  高效率的统计运算
yarn 资源调度器 2.0之前没有yarn （我们用的2.6）
​

yarn的2部分

resoucemanager
​
nodemanager（每隔半小时向resourcmanager提交心跳）

 

 

 

14步工作原理

1 客户端 提交作业 申请jobbID
2 ResourceManager返回一个作业ID 并将路径返回客户端
3 客户端（Client）将需要的资源（jar包）上传到返回的HDFS路径​​

hbase搭建

安装前提拖入jar包！！！

安装zookeper

 cd /opt/
 ls
 tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz
 mv zookeeper-3.4.5-cdh5.14.2 /opt/soft/zk345
 cd /opt/soft/zk345/conf/
 ls
cp zoo_sample.cfg zoo.cfg
 vim zoo.cfg
 ======================
 #修改这个文件
 dataDir=/opt/soft/zk345/data
 #插入以下内容 ip地址用自己的
 server.1=192.168.64.210:2888:3888
  ======================
  
  
 vim /etc/profile
 #zookeeper 配置环境变量
export ZOOKEEPER_HOME=/opt/soft/zk345
export PATH=$PATH:$ZOOKEEPER_HOME/bin
:wq
#激活配置
source /etc/profile
#启动
zkServer.sh start
​

安装hbase

cd /opt/jar
tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz
mv hbase-1.2.0-cdh5.14.2 /opt/soft/hbase120
cd /opt/soft/hbase120/conf/
ls

vim hbase-env.sh

export JAVA_HOME=/opt/soft/jdk180
export HBASE_MANAGES_ZK=false
:wq
​

vim hbase-site.xml

     >hbase.rootdir
     hdfs://192.168.64.210:9000/hbase



     hbase.cluster.distributed
     true



     hbase.zookeeper.property.dataDir
     /home/cm/hbase

 
   
​
​
#无中文版

     >hbase.rootdir
     hdfs://192.168.64.210:9000/hbase


     hbase.cluster.distributed
     true


     hbase.zookeeper.property.dataDir
     /opt/soft/hbase120/data


     hbase.zookeeper.property.clientPort
     2181

配置环境变量

vim /etc/profile
==========================
#habase env
export HBASE_HOME=/opt/soft/hbase120
export PATH=$PATH:$HBASE_HOME/bin
==========================
:wq
source /etc/profile

先启动hdoop在启动hbase

start-all.sh
#jps 一应该出现7个
jps
#启动hbase （HMaster HRegionServer）
start-hbase.sh
hbase shell
list

创建表空间

create
create_namespace 'mydemo'
create 'mydemo:userinfos','base'
exit
​