-
Sqoop数据导出 第1关：Sqoop数据导出语法学习
为了完成本关任务，你需要掌握： 1、Sqoop 导出( export )的基本参数。 2、配置环境。
Sqoop 导出( export )的基本参数。
Sqoop 能够让 Hadoop 上的 HDFS 和 Hive 跟关系型数据库之间进行数据导入与导出，多亏了
import和export这两个工具。本实训主要是针对export(导出)来讲。 数据在Hadoop平台上进行处理后，我们可能需要将结果同步到关系数据库中作为业务的辅助数据，这时候需要将Hadoop平台分析后的数据导出（export）到关系数据库。 我们要学 Sqoop 的导出也必须先知道里面的基本语法。 输入sqoop help export可以查看里面参数含义，导出和导入基本参数都差不多，接下来选取几个常见的参数来分析：选项 含义说明 --connect 指定JDBC连接字符串 --driver 指定要使用的JDBC驱动程序类 --hadoop-mapred-home 指定$HADOOP_MAPRED_HOME路径 -P 从控制台读取输入的密码 --username 设置认证用户名 --password 设置认证密码 --verbose 打印详细的运行信息 --columns 要导出到表格的列 --direct 使用直接导入模式（优化导入速度 --export-dir 用于导出的HDFS源路径 --num-mappers 使用n个mapper任务并行导出 --table 要填充的表 --staging-table 数据在插入目标表之前将在其中展开的表格。 --clear-staging-table 表示可以删除登台表中的任何数据 --batch 使用批量模式导出 --fields-terminated-by 设置字段分隔符 --lines-terminated-by 设置行尾字符 --optionally-enclosed-by 设置字段包含字符 注意：如果这个环境不配置的话，可能会造成后续关卡不能正常实现。 1、启动Hadoop。
start-all.sh
2、Hive连接 MySQL 初始化。
schematool -dbType mysql -initSchema
编程要求
在右侧命令行进行操作： 1.启动Hadoop服务； 2.Hive 连接 MySQL 初始化。
- start-all.sh
- schematool -dbType mysql -initSchema
-
相关阅读:
设计大师都在用！电商设计素材网站大公开
【深度学习】【Prompt】使用GPT的一些提示词
冒泡排序记录
spring 中refresh()方法中prepareRefresh()方法的功能
HDLbits: Fsm serial
Matlab：从矩阵中删除行或列
[附源码]计算机毕业设计项目管理系统的专家评审模块Springboot程序
SSM整合(一)
竞赛选题 基于深度学习的中文情感分类 - 卷积神经网络 情感分类 情感分析 情感识别 评论情感分类
自助空间系统共享棋牌室办公室小程序开发
- 原文地址：https://blog.csdn.net/qq_61604164/article/details/128214630