Hive是分布式运行的框架还是单机运行的?
我们知道Hive是单机工具后,就需要准备一台服务器供Hive使用即可。
同时Hive需要使用元数据服务,即需要提供一个关系型数据库,我们也选择一台服务器安装关系型数据库即可。
所以:
为了简单起见,都安装到node1服务器上。
在ifcfg-ens33添加
DNS1=114.114.114.114
重启网络
service network restart
# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm
# yum安装Mysql
yum -y install mysql-community-server
# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld
# 检查Mysql服务状态
systemctl status mysqld
# 第一次启动mysql,会在日志文件中生成root用户的一个随机密码,使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log
# 修改root用户密码
mysql -u root -p -h localhost
Enter password:
# 如果你想设置简单密码,需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4; # 密码长度最低4位即可
# 然后就可以用简单密码了(课程中使用简单密码,为了方便,生产中不要这样)
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
# 设置远程登录
grant all privileges on *.* to root@"%" identified by 'root' with grant option;
# 刷新
flush privileges;
Hive的运行依赖于Hadoop(HDFS、MapReduce、YARN都依赖)。
同时涉及到HDFS文件系统的访问,所以需要配置Hadoop的代理用户。
即设置hadoop用户允许代理(模拟)其它用户。
配置如下内容在Hadoop的core-site.xml中,并分发到其它节点,且重启HDFS集群
<property>
<name>hadoop.proxyuser.hadoop.hostsname>
<value>*value>
property>
<property>
<name>hadoop.proxyuser.hadoop.groupsname>
<value>*value>
property>
stop-dfs.sh
start-dfs.sh
su - hadoop
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/
ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive
mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/
在Hive的conf目录内,新建hive-env.sh文件,填入以下环境变量内容:
export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive/conf
export HIVE_AUX_JARS_PATH=/export/server/hive/lib
在Hive的conf目录内,新建hive-site.xml文件,填入以下内容:
连接数据库时,用户名和密码要对应自己mysql设置的
<configuration>
<property>
<name>javax.jdo.option.ConnectionURLname>
<value>jdbc:mysql://bigdatanode1:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8value>
property>
<property>
<name>javax.jdo.option.ConnectionDriverNamename>
<value>com.mysql.jdbc.Drivervalue>
property>
<property>
<name>javax.jdo.option.ConnectionUserNamename>
<value>rootvalue>
property>
<property>
<name>javax.jdo.option.ConnectionPasswordname>
<value>rootvalue>
property>
<property>
<name>hive.server2.thrift.bind.hostname>
<value>bigdatanode1value>
property>
<property>
<name>hive.metastore.urisname>
<value>thrift://bigdatanode1:9083value>
property>
<property>
<name>hive.metastore.event.db.notification.api.authname>
<value>falsevalue>
property>
configuration>
支持Hive的配置已经完成,现在在启动Hive前,需要先初始化Hive所需的元数据库。
CREATE DATABASE hive CHARSET UTF8;
cd /export/server/hive
bin/schematool -initSchema -dbType mysql -verbos
初始化成功后,会在MySQL的hive库中新建74张元数据管理的表。
必须先启动hdfs和yarn
start-dfs.sh
start-yarn.sh
确保Hive文件夹所属为hadoop用户
创建一个hive的日志文件夹:
mkdir /export/server/hive/logs
启动元数据管理服务(必须启动,否则无法工作)
启动客户端,二选一(当前先选择Hive Shell方式)
bin/hive
首先,确保启动了Metastore服务。
可以执行:bin/hive,进入到Hive Shell环境中,可以直接执行SQL语句。
CREATE TABLE test(id INT, name STRING, gender STRING);
INSERT INTO test VALUES(1, '王力红', '男'), (2, '周杰轮', '男'), (3, '林志灵', '女');
SELECT gender, COUNT(*) AS cnt FROM test GROUP BY gender;
Hive的数据存储在HDFS的:/user/hive/warehouse中
打开YARN的WEB UI页面查看任务情况:http://bigdatanode1:8088
在启动Hive的时候,除了必备的Metastore服务外,有2种方式使用Hive:
bin/hive --service metastore,启动的是元数据管理服务
bin/hive --service hiveserver2,启动的是HiveServer2服务
HiveServer2是Hive内置的一个ThriftServer服务,提供Thrift端口供其它客户端链接
可以连接ThriftServer的客户端有:
Hive的客户端体系如下
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &
/export/server/hive/bin/beeline
! connect jdbc:hive2://bigdatanode1:10000
我这里用idea连接数据库
在idea右边找到hive
配置连接,下载驱动
测试链接
进行操作
DBeaver的连接都是差不多的,注意的是DBeaver的hive驱动要自己下载并引入,默认提供的不能用。
结束!!!!
hy:41
人所有的拖沓都是代表他并非真正热爱。