注:我的Hadoop环境已经安装完成。
版本的兼容问题很重要!!
软件环境 | 版本号 | 备注 |
---|---|---|
CentOS7 | 7.6 | |
JDK | 1.8.0 | |
Hadoop | 3.1.3 | hadoop-3.1.3.tar.gz |
ZooKeeper | 3.6.3 | apache-zookeeper-3.6.3-bin.tar.gz |
HBase | 2.4.15 | hbase-2.4.15-bin.tar.gz |
Hive | 3.1.2 | apache-hive-3.1.2-bin.tar.gz |
# Hadoop下载地址
https://hadoop.apache.org/release.html
# 下载hadoop-3.1.3.tar.gz
https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
# ZooKeeper下载地址
https://zookeeper.apache.org/releases.html
# 下载apache-zookeeper-3.6.3-bin.tar.gz
https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
# HBase下载地址
https://hbase.apache.org/downloads.html
# 下载hbase-2.4.15-bin.tar.gz
https://dlcdn.apache.org/hbase/2.4.15/hbase-2.4.15-bin.tar.gz
# Hive下载地址
https://hive.apache.org/downloads.html
# 下载apache-hive-3.1.2-bin.tar.gz
https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
主机名 | HDFS | YARN | IP地址 | 说明 |
---|---|---|---|---|
hadoop0 | DataNode、NameNode | NodeManager | 192.168.108.10 | 主节点(master) |
hadoop1 | DataNode | NodeManager、ResourceManager | 192.168.108.11 | 子节点 |
hadoop2 | DataNode、Secondary NameNode | NodeManager | 192.168.108.12 | 子节点 |
安装目录是/opt/
主机名 | HBase | HDFS | IP地址 | 说明 |
---|---|---|---|---|
hadoop0 | HBase | DataNode、NameNode | 192.168.108.10 | 主节点(master) |
hadoop1 | HBase | DataNode | 192.168.108.11 | 子节点 |
hadoop2 | HBase | DataNode、Secondary NameNode | 192.168.108.12 | 子节点 |
(1) 解压文件
# 先将hbase-2.4.15-bin.tar.gz复制到/opt目录下
# 进入安装目录
cd /opt
# 解压文件,解压后会出现hbase-2.4.15目录
tar -xzvf hbase-2.4.15-bin.tar.gz
(2)添加环境变量
# 编辑“/etc/profile”文件
vim /etc/profile
# 在文件中末尾添加如下内容
export HBASE_HOME=/opt/hbase-2.4.15
export PATH=$PATH:$HBASE_HOME/bin
# 使环境变量生效
source /etc/profile
(1)修改hbase-env.sh文件
# 进入配置文件目录
cd /opt/hbase-2.4.15/conf
# 修改hbase-env.sh文件
vim hbase-env.sh
# 在文件中最后添加如下内容,下面的配置在hbase-env.sh中都可以找到被注释的
# 注意我的jdk目录是/opt/jdk1.8.0_144,需要修改为自己的目录
export JAVA_HOME=/opt/jdk1.8.0_144
export HBASE_MANAGES_ZK=true
(2)修改hbase-site.xml文件
# 进入配置文件目录
cd /opt/hbase-2.4.15/conf
# 修改hbase-site.xml文件
vim hbase-site.xml
hbase-site.xml文件内容如下
<configuration>
<property>
<name>hbase.cluster.distributedname>
<value>truevalue>
property>
<property>
<name>hbase.tmp.dirname>
<value>./tmpvalue>
property>
<property>
<name>hbase.unsafe.stream.capability.enforcename>
<value>falsevalue>
property>
<property>
<name>hbase.zookeeper.quorumname>
<value>hadoop0,hadoop1,hadoop2value>
property>
<property>
<name>hbase.zookeeper.property.dataDirname>
<value>/opt/hbase-2.4.15/zookeeper-datavalue>
property>
<property>
<name>hbase.rootdirname>
<value>hdfs://hadoop0:9000/hbasevalue>
property>
<property>
<name>hbase.master.info.portname>
<value>16010value>
property>
configuration>
(3)修改regionservers文件
# 进入配置文件目录
cd /opt/hbase-2.4.15/conf
# 修改regionservers文件
vim regionservers
regionservers文件内容如下(删除里面的localhost)
hadoop0
hadoop1
hadoop2
# 复制hbase文件
scp -r /opt/hbase-2.4.15 root@hadoop1:/opt/
scp -r /opt/hbase-2.4.15 root@hadoop2:/opt/
# 复制profile文件
scp /etc/profile root@hadoop1:/etc/
scp /etc/profile root@hadoop2:/etc/
# 注意:复制后,在子节点上用source命令使环境变量起效
source /etc/profil
# 在Master节点上启动HBase
start-hbase.sh
# 关闭HBase
stop-hbase.sh
# 查看HBase进程
jps
# 查看HBase启动情况,输入以下IP地址和端口号,如下图表明安装成功
http://192.168.108.10:16010/
# 连接HBase
hbase shell
# (1)创建表和列属性
# create '表名','列族名1','列族名2'
# ”列族名“可根据需要自定义,一张表中,列族创建越少越好
create 'user', 'c1', 'c2'
# (2)查看表
list
# (3)添加数据
# put '表名','ROW值','列族名:列名','列值'
# "ROW值"是唯一的,相当于关系型数据库中的主键
put 'user', '001', 'c1:name', 'Mason'
put 'user', '001', 'c1:age', '20'
put 'user', '002', 'c1:name', '河南大学'
put 'user', '002', 'c1:age', '110'
# (4)查询数据
# scan '表名'
scan 'user'
# get '表名','ROW值'
get 'user', '001'
# (5)删除列中的行数据
# delete '表名','ROW值','列族名:列名'
# 删除列族为"c1",列名为"name",行键值为"002"的值
delete 'user', '002', 'c1:name'
# (6)删除行数据
# delete '表名','ROW值'
# 删除行键值为'002'的数据
delete 'user', '002'
# (7)删除表
# 首先需要disable表
disable 'user'
# 再删除表
drop 'user'