Datax从mysql同步数据到HDFS

 在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？我们一步步来实现（基于Datax 3.0.0）

1、检查环境，需要安装完一个Datax，一个mysql，安装hadoop以及hive

2、在mysql中创建源表，并在原表中插入数据，我们的目标是把源表的mysql数据同步到HDFS中，我们当前测试表如下

源数据库：test

源表结构：

CREATE TABLE `test` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  `score` decimal(10,0) DEFAULT NULL,
  `update_time` datetime NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8

插入数据如下

3、在datax同步之前需要在hive上创建数据库和表，否则会报错，创建语句如下，注意分隔符用\001用来避免数据中含有分隔符，ORC是最后存储hive的格式，我们创建表的时候也要是ORC格式，目前datax插入HDFS只支持用户配置为"text"或"orc"。

create database test

CREATE TABLE IF NOT EXISTS test.test(id int comment '主键',name string comment '名称', score double comment 'fen' , update_time string comment 'time') COMMENT 'Employee details'  ROW FORMAT DELIMITED FI