java通过zookeeper 高可用方式连接hiveserver2

场景 ：

• 使用jdbc hive2 模式访问hive 大量任务导致单节点down 掉 从而导致任务调度失败

分析问题：

• jdbc hive2 使用的 单节点hiveserver2的 服务 ，从公司CDH资源中可以发现 hiveserver2 分别部署在了3个节点上 ，由调度失败日志来看 失败时 其它两个节点正常 。这种情况典型的没有用到 hiveserver2的HA

解决问题：

• CDH 配置hiveserver2 HA
  1 :进入CM 后台管理界面 将hive.cluster.delegation.token.store.class （HiveMetastore 代理令牌桶存储） 修改 为DBTokenStore
  2:hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）
  添加相关的配置：

hive.server2.support.dynamic.service.discovery=true
hive.server2.zookeeper.namespace=hiveserver2
hive.zookeeper.quorum=zookeeper_host:port
hive.zookeeper.client.port=2181
1
2
3
4

3: 修改jdbc url 连接串
JDBC连接的URL格式为：

• zk_cluster_addr :形如：host1:2181,host2:2181,host3:2181
• hive_db 默认为default
• 集群中如有使用kerberos 需要在url 中添加principal 类似 mysql jdbc 中多个参数一样

  jdbc:hive2://zk_cluster_addr/hive_db;serviceDiscoveryMode=zookeeper;zooKeeperNamespace=hiveserver2;
1

通过CM重启Hive

使用beeline 连接hive

  beeline -u "jdbc:hive2://zk_cluster_addr/hive_db;serviceDiscoveryMode=zookeeper;zooKeeperNamespace=hiveserver2" --color=true
1

通过将某个节点的hiveserver2 服务停止 任务仍然能够执行