datax使用笔记

项目要数据迁移，毫无疑问，果断datax。

下载

方式多种多样，爱用哪种用哪种。

网上下载

自己从网上找也可以，这个链接实测也可用。
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

网盘下载

网上能找到，但是麻烦，干脆分享个。
链接：https://pan.baidu.com/s/1QpCEvAgD4DCBtDz-rRzPog
提取码：73kz

github拿源码自己打包(适合爱折腾的人)

标准地址访问不通，因为github不让访问，
https://github.com/alibaba/DataX # 这个地址无法直接访问
打开cmd窗口：

ping github.com  # 结果 20.205.243.166
1

http://20.205.243.166/alibaba/DataX # 这样就能打开了
但是这个地址，git clone下载不下来，还是和封了有关。但是可以直接下载zip包，里面有代码和doc，也是很有用的。

注： 这里不但有源码，还有各种使用说明。

如何看文档?
git下载的zip，最外层有使用说明，每个模块doc文件夹下也有文档，比较方便的。

使用说明

datax机制，说来也简单，就是一个reader一个writer，reader读数据，writer写数据。

配置文件

参数说明

整体结构不用管，一般只要替换content里面的内容即可。
如：数据库url、账号密码、sql语句等。

oracle例子

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3,
                 "byte": 1048576
            },
                "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        "username": "admin",
                        "password": "admin",
                        "where": "",
                        "connection": [
                            {
                                "querySql": [
                                    "select  ID,USER_NAME T_USER where rownum<5"
                                ],
                                "jdbcUrl": ["jdbc:oracle:thin:@192.168.0.1:1521:TEST1"]
                            }
                        ]
                    }
                },
              "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "admin",
                        "password": "admin",
                        "column":["ID","USER_NAME"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@192.168.0.1:1521:TEST1",
                                "table": ["T_USER2"]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

mysql例子

其他

reader为什么没有table标签

实际一般用不到，因为sql中已经指定了从哪个表拿数据，所以writer才需要table。