• Hive安装教程-Hadoop集成Hive



    前言

    本文将介绍安装和配置Hive的步骤。在开始之前,我们需要满足一些安装条件,包括安装JDK、MySQL和Hadoop。我们将逐步指导您完成这些准备工作,并详细说明如何下载、解压和设置Hive。接下来,我们将修改Hive的配置文件,并创建Hive的元数据数据库。最后,我们将演示如何初始化Hive数据库并进入Hive命令行界面,以及如何设置允许远程访问。


    一、安装准备

    1. 安装条件

    • jdk版本:1.8+
    • MySQL版本:5.7+
    • Hadoop版本:2.2.0+
    • Hive版本:2.3.1

    2. 安装jdk

    下载地址:https://www.oracle.com/java/technologies/downloads/#java8

    下载后上传到/tmp目录下。

    然后执行下面命令,用于创建目录、解压,并设置系统级环境变量。

    mkdir -p /opt/module
    tar -zxvf /tmp/jdk-8u391-linux-x64.tar.gz -C /opt/module/
    echo >> /etc/profile
    echo '#JAVA_HOME' >> /etc/profile
    echo "export JAVA_HOME=/opt/module/jdk1.8.0_391" >> /etc/profile
    echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
    source /etc/profile
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    3. 安装MySQL

    4. 安装Hadoop


    二、安装Hive

    1. 下载并解压Hive

    wget --no-check-certificate https://archive.apache.org/dist/hive/hive-2.3.1/apache-hive-2.3.1-bin.tar.gz -P /tmp
    mkdir -p /opt/soft/hive
    tar -zxvf /tmp/apache-hive-2.3.1-bin.tar.gz -C /opt/soft/hive
    
    • 1
    • 2
    • 3

    2. 设置环境变量

    设置Hive系统级环境变量,并加载环境变量。

    echo >> /etc/profile
    echo '#HIVE_HOME' >> /etc/profile
    echo "export HIVE_HOME=/opt/soft/hive/apache-hive-2.3.1-bin" >> /etc/profile
    echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile
    source /etc/profile
    
    • 1
    • 2
    • 3
    • 4
    • 5

    3. 修改配置文件

    默认配置文件 hive-default.xml 不可修改。

    cd /opt/soft/hive/apache-hive-2.3.1-bin
    cp conf/hive-default.xml.template conf/hive-default.xml
    
    • 1
    • 2

    创建 hive-site.xml 文件。

    cd /opt/soft/hive/apache-hive-2.3.1-bin
    touch ./conf/hive-site.xml
    
    • 1
    • 2

    并添加如下内容,把其中的相关主机名、MySQL账号和密码等修改为自己的。

    
    
    
    <configuration>
        
        <property>
            <name>javax.jdo.option.ConnectionURLname>
            <value>jdbc:mysql://hadoop103:3306/hive?useSSL=falsevalue>"
        property>
        
        <property>
            <name>javax.jdo.option.ConnectionDriverNamename>
            <value>com.mysql.cj.jdbc.Drivervalue>
        property>
        
        <property>
            <name>javax.jdo.option.ConnectionUserNamename>
            <value>rootvalue>"
        property>
        
        <property>
            <name>javax.jdo.option.ConnectionPasswordname>
            <value>rootvalue>"
        property>
        
        <property>
            <name>hive.metastore.warehouse.dirname>
            <value>/user/hive/warehousevalue>
        property>
        
        <property>
            <name>hive.server2.thrift.bind.hostname>
            <value>hadoop103value>"
        property>
        
        <property>
            <name>hive.server2.enable.doAsname>
            <value>truevalue>"
        property>
        
        <property>
            <name>hive.server2.thrift.portname>
            <value>10000value>
        property>
        
        <property>
            <name>hive.cli.print.headername>
            <value>truevalue>
        property>
        
        <property>
            <name>hive.cli.print.current.dbname>
            <value>truevalue>
        property>
        
        <property>
            <name>hive.server2.active.passive.ha.enablename>
            <value>truevalue>
            <description>Whether HiveServer2 Active/Passive High Availability be enabled when Hive Interactive sessions are
                enabled.This will also require hive.server2.support.dynamic.service.discovery to be enable.
            description>
        property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63

    3. 创建hive数据库

    连接到MySQL并创建hive数据库。

    mysql -phadoop103 -P 3306 -uroot -proot -e "create database if not exists hive;"
    
    • 1

    4. 下载MySQL驱动

    wget --no-check-certificate https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar -P /tmp
    cp /tmp/mysql-connector-java-8.0.16.jar $HIVE_HOME/lib
    
    • 1
    • 2

    5. 初始化hive数据库

    $HIVE_HOME/bin/schematool -dbType mysql -initSchema
    
    • 1

    初始化完成如下图所示。

    在这里插入图片描述

    6. 进入Hive命令行界面

    $HIVE_HOME/bin/hive
    
    • 1

    如下图所示,如果可以成功进入Hive命令行界面,则安装成功。

    在这里插入图片描述

    7. 设置允许远程访问

    设置允许远程访问。

    nohup hive --service hiveserver2 &
    
    • 1

    测试远程访问是否开启成功。

    beeline -u jdbc:hive2://hadoop103:10000 -n root
    
    • 1

    成功如下图所示。
    在这里插入图片描述


    总结

    本文详细介绍了安装和配置Hive的步骤。您学习了如何下载、解压和设置Hive,并修改了配置文件以适应您的环境。我们还创建了Hive的元数据数据库,并初始化了Hive数据库。最后,我们演示了如何进入Hive命令行界面和设置允许远程访问。通过本文的指导,您应该能够成功安装和配置Hive,并开始使用它进行数据处理和分析。

    希望本教程对您有所帮助!如有任何疑问或问题,请随时在评论区留言。感谢阅读!

  • 相关阅读:
    【数据库】实验五 数据库综合查询|多表查询、聚集函数、orderby、groupby
    js实现星空雨随鼠标移动
    SpringMVC篇
    Spring IoC容器初始化主体流程
    朴素贝叶斯
    27k入职阿里测试岗那天,我哭了,这5个月付出的一切总算没有白费~
    C/C++基础讲解(一百三十一)之经典篇(信息合并/平均分数存储)
    java计算机毕业设计教学成果管理平台录像演示源代码+数据库+系统+lw文档
    奇舞周刊第 459 期 精读《web reflow》
    处理新连接Acceptor
  • 原文地址:https://blog.csdn.net/zcs2312852665/article/details/136582205