• Linux 下搭建 Hive 环境


    Linux 下搭建 Hive 环境

    作者:Grey

    原文地址:

    博客园:Linux 下搭建 Hive 环境

    CSDN:Linux 下搭建 Hive 环境

    前置工作

    首先,需要先完成

    Linux 下搭建 Kafka 环境

    Linux 下搭建 Hadoop 环境

    Linux 下搭建 HBase 环境

    本文基于上述三个环境已经搭建完成的基础上进行 Hive 的搭建工作。

    Hive 版本:2.2.0

    如果使用的软件版本不一致,请以官方搭建文档为准。

    此外,需要准备一个 MySQL 服务器,我这里准备的 MySQL 服务器 IP 是:192.168.100.129,端口是 3306。

    MySQL 的安装参考:CentOS 7 下安装 MySQL 8.x

    这里用的 MySQL 版本是:5.7.40

    下载地址

    注:目前这个版本的 Hive,用 MySQL 5.7 版本不会报错,用MySQL 8.0 版本会报错,

    MySQL 的 Connector 版本是:5.1.40

    下载地址

    注:确保 master 服务器可以访问这个 MySQL 服务器上的 MySQL 服务。,如果用的 MySQL 版本不同,对应的 Connector 需要下载可适配 MySQL 版本的。

    安装步骤

    Hive 安装在 master 节点上,

    将下载好的 Hive 安装包和 MySQL 对应的 Connector 包上传到 /datalake 目录下

    apache-hive-2.2.0-bin.tar.gz

    mysql-connector-java-5.1.40.tar.gz

    解压这几个安装包

    cd /datalake
    
    • 1
    tar -zxvf apache-hive-2.2.0-bin.tar.gz
    
    • 1

    将解压的软件移动到 /usr/local 目录

    cd /datalake
    
    • 1
    mv apache-hive-2.2.0-bin /usr/local/hive
    
    • 1

    配置环境变量

    vi /etc/profile
    
    • 1

    将 Hive 添加到环境变量

    export HIVE_HOME=/usr/local/hive
    export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin
    
    • 1
    • 2

    应用环境变量

    source /etc/profile
    
    • 1

    解压 MySQL 的 Connector 包

    tar -xzvf mysql-connector-java-5.1.40.tar.gz
    
    • 1

    将 Connector 的 jar 拷贝到 Hive 的 lib 目录中

    cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/
    
    • 1

    修改 Hive 的配置文件

    cd $HIVE_HOME/conf && cp hive-default.xml.template hive-site.xml
    
    • 1

    将 hive-site.xml 的内容设置为

    <configuration>
        <property>
            <name>javax.jdo.option.ConnectionURLname>
            <value>jdbc:mysql://192.168.100.129:3306/hive?createDatabaseIfNotExist=truevalue>
        property>
        <property>
            <name>javax.jdo.option.ConnectionDriverNamename>
            <value>com.mysql.jdbc.Drivervalue>
        property>
        <property>
            <name>javax.jdo.option.ConnectionUserNamename>
            <value>dumpvalue>
        property>
        <property>
            <name>javax.jdo.option.ConnectionPasswordname>
            <value>1234value>
        property>
        <property>
            <name>hive.metastore.schema.verificationname>
            <value>falsevalue>
        property>
        <property>
            <name>datanucleus.schema.autoCreateAllname>
            <value>truevalue>
        property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    注:以上配置根据你自定义的 MySQL 来配置,例如用户名密码和连接信息。

    启动 Hive,执行

    hive
    
    • 1

    查看数据库,已经新建出 Schema

    image

    测试一下,在 hive 中执行如下命令创建一个表

    CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
    
    • 1

    image

    创建成功并查看这个表的信息

    访问:http://192.168.100.130:50070/explorer.html#/user/hive/warehouse

    可以查看创建的 t2 表信息

    image

  • 相关阅读:
    集成学习的小九九
    如何在 Anolis 8上部署 Nydus 镜像加速方案?
    常用数据库之sql server的使用和搭建
    mall:redis项目源码解析
    使用Markdown语法写矩阵
    教 官 管 理 规 则
    搭建 EMQX 的 MQTT 服务
    【算法集训暑期刷题营】7.3日题---前缀和
    vue3 + mark.js | 实现文字标注功能
    OceanBase获奖!蚂蚁集团第三次入选世界互联网领先科技成果
  • 原文地址:https://blog.csdn.net/hotonyhui/article/details/127395039