教你使用Sqoop一次性将mysql中的十张表导入到hive中

?? 个人主页：csdn春和
?? 推荐专栏：更多专栏尽在主页！
JavaWeb专栏（从入门到实战超详细！！！）
SSM专栏 （更新中）
?? 本期文章：Sqoop一次性将mysql中的十张表同步到hive中
如果对您有帮助还请三连支持，定会一 一回访！

---

本文目录

• • 1、实验需求
  • 2、实验步骤
  • • 0、实验前提
    • 1、在mysql中准备十张表
    • 2、编写shell脚本一次性导入十张表
    • 3、修改脚本执行权限
    • 4、执行脚本
    • 5、查看实验结果

前言：这是一篇实验随记文章，记录笔者学习过程中做的一些实验。第八次作业：将mysql中的十张表导入到大数据平台hive中

1、实验需求

一次性将mysql中的十张表导入到hive中

2、实验步骤

0、实验前提

启动hadoop集群并且开启hive服务 hive2后面需要使用到

1、在mysql中准备十张表

2、编写shell脚本一次性导入十张表

#! bin/bash
for ((i=0;i<10;i++))
do
 bin/sqoop import --connect jdbc:mysql://hadoop02:3306/study --username root --password 123456 --table t$i --num-mappers 1 --hive-import --fields-terminated-by "	" --hive-overwrite --hive-table t${i}_hive
 echo "import t$i successfully!"
done
1
2
3
4
5
6

就这样简单的shell脚本编写完成，笔者shell脚本的知识遗忘的厉害，如果您有更好的做法强烈建议您私信我！！！

3、修改脚本执行权限

chmod +x t.sh
1

4、执行脚本

执行t.sh脚本，等待执行完成

在此之间会有很多日志打印我们挑选一些来看

5、查看实验结果

查看hdfs

查看hive shell

查询数据试试

到此数据从mysql表中导入到hive完成，在这里面也有许多可以优化的地方，比如循环执行怎样提高执行的效率等！这里我们先不做深究…

先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级java工程师，想要升技能，往往是需要自己摸索成长或是报班学习，但对于培训机构动则近万元的学费，着实压力不小。自己不成体系的自学效率很低又漫长，而且容易碰到天花板技术停止不前。因此我收集了一份《java开发全套学习资料》送给大家，初衷也很简单，就是希望帮助到想自学又不知道该从何学起的朋友，同时减轻大家的负担。添加下方名片，即可获取全套学习资料哦