Linux 脚本 hive脚本

原因: hive导入hdfs按天文件夹,按小时文件的数据, 历史数据(天数)较多, 手动添加分区, 工作量大,改用脚本

编写脚本: notepad++(工具)

------------------------------------------------------------------------------ 以下  脚本 ---------------------------------------------------------------------------

#!/bin/bash
date_list='20170913 20170914 ...(日期列表,数量太多,原数据中间有缺, 日期间为空格分隔) ....20180606';

hive -e "create external table if not exists safe.imcs_data(imcs string) partitioned by (static_time string) row format delimited;"

for date in $date_list
do
    echo "start to hive partition"
    hive -e "alter table safe.imcs_data add partition (static_time = '$date') location '/user/safe/data/imcs_pic_info_hdfs/$date';"
    echo "hive partition finished"
done

---------------------------------------------------------------------------------以上 脚本----------------------------------------------------------------------

说明: # 为脚本注释 , #! 指定shell语言(Linux一般有好几个shell脚本语言)

开始对脚本操作

假定将脚本命名为  aaa.sh ---> 上传到Linux服务器 (假定目录/文件为  /bbb/aaa.sh)---> 修改文件权限(chmod 755 aaa.sh 可执行) --->  ./bbb/aaa.sh (运行)

排除错误/bin/bash^M: bad interpreter: No such file or directory

window环境编写的脚本格式为DOS, 与Linux格式冲突, 修改格式 ----> Linux下执行   dos2unix  /bbb/aaa.sh

再执行 ./bbb/aaa.sh

脚本正常运行, 建表,添加分区