环境:
ambari大数据平台
sqoop版本1.4.7
hive版本3.1.0
Atlas版本2.2.0
Atlas使用官网给的sqoop hook
具体安装步骤
1、官网安装步骤:https://atlas.apache.org/#/HookSqoop
2、其他安装步骤:https://www.freesion.com/article/45701353391/
根据以上两个安装的步骤可以解决sqoop hook的安装
在安装中遇到的问题:
在安装完sqoop hook的时候,执行sqoop导入,会一直卡在连接zookeeper中的hiveserver2。
通过查看源码发现,sqoop1.4.7是通过beeline的方式连接hive。而一直卡在这里的原因就是等待用户名和密码的输入。而实际上我们并没有配beeline自动连接的用户名和密码。所以一直卡在这里。
解决方案:
在hive中bin目录下的beeline种添加如下图所示
注意项:
1、sqoop是在sqoop任务执行完之后才会把数据发送给kafka,所以在执行的时候一定要保证sqoop完全执行完(在这排查了很久)
2、sqoop hook只支持improt hive,也就是sqoop中需要有参数–import-hive(官网在这块说的也比较明确)
3、使用beeline命令连接会去连接zookeeper
4、hive版本与sqook hook版本没有直接关系
完整版sqoop hook导入的日志
由于日志太多这边截一些主要日志:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1efkGTH1-1668563873709)(/Users/fuwei/Library/Application Support/typora-user-images/image-20221116094943762.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fzUOx5NH-1668563873709)(/Users/fuwei/Library/Application Support/typora-user-images/image-20221116094917377.png)]