• Hive【非交互式使用、三种参数配置方式】


    前言

            今天开始学习 Hive,因为毕竟但凡做个项目基本就避不开用 Hive ,争取这学期结束前做个小点的项目。

            第一篇博客内容还是比较少的,环境的搭建配置太琐碎没有写。

    Hive 常用使用技巧

    交互式使用

    就是我们正常的进入 hive 命令行下的使用模式。

    非交互式使用

    所谓非交互式,也就是不需要进入 hive 命令行,直接在我们 linux Shell 命令行中执行。

    hive -e

    1. # 一段带字符串的 SQL
    2. -e SQL from command line

    案例: 

    [lyh@hadoop102 hive-3.1.2]$ hive -e "insert into stu values(2,'lyh')"
    

    hive -f

    1. # 执行文件中的所有 SQL
    2. -f SQL from filename

    案例:

    将要执行的sql写入一个文件:

    1. vim stu.sql
    2. #写如以下sql 用分号隔开
    3. insert into stu values(3,"ls");
    4. select * from stu;

    执行:

    [lyh@hadoop102 ~]$ hive -f stu.sql 

    Hive 参数配置方式

    (1)查看当前所有的配置信息

    hive> set;

    (2)查看某个参数的配置信息

    1. # 查看reduce开启的数量
    2. hive(default)>set mapreduce.job.reduces;

    (3)设置参数

    1. hive-site.xml

    这种设置参数的方式全局永久生效。

    2. 命令行参数

    启动 Hive 时,可以在命令行添加 -hiveconf param=value 的方式来设置参数。

    这种设置参数的方式全局仅对本次 Hive 启动生效。

    1. # 设置一个作业中reduce开启的数量
    2. [lyh@hadoop102 hive-3.1.2]$ hive -hiveconf mapreduce.job.reduces=10;
    3.参数声明方式

    可以在 HQL 中使用 SET 关键字来设定参数:

    hive(default)> set mapreduce.job.reduces=10;

    同样,仅对本次Hive 启动生效。

    查看参数设置:

    hive(default)> set mapreduce.job.reduces;
    总结

            上面三种参数设置方式的优先级为 hive-site.xml < 命令行参数 < 参数声明 。除了某些系统级的参数,比如 log4j 相关的设置,必须使用前两种设置方式,因为那些参数的读取已经在会话建立前已经完成了。

  • 相关阅读:
    Hadoop的HDFS高可用方案
    Mysql忘记密码后如何重置密码
    CompletionService 使用小结
    代码随想录训练营第60天|84.柱状图中最大的矩形
    linux配置java-web站点
    uniapp:小程序数字键盘功能样式实现
    try语句异常处理
    华为云计算HCIE之oceanstor仿真器的安装教程
    海康威视H5无插件方式显示WSS协议的视频的笔记
    foo 是什么意思
  • 原文地址:https://blog.csdn.net/m0_64261982/article/details/132910214