mysql迁移到dws(PostgreSQL)步骤和注意事项

现场环境：
mysql 5.7.35
华为的dws: PostgreSQL 9.2.4(GaussDB 8.1.0)

1，navicat 数据迁移

先分别连接原mysql数据库和目标dws的数据库

接下来分别选择要导入的表，navicat会自动转换成dws的ddl和插入语句，部分字段会自动转为dws的字段类型，比如bigint自动转为int8

导入过程是批量多线程操作的，过程中如果会遇到一些错误会暂停导入，这时候只需要在导入日志中从下往上找第一条drop语句的表定位错误。

常见的错误：

字段长度不够,mysql的varchar字段的内容录入dws库长度超出；

double 类型在dws库需要转换成decimal;

2，连接dws数据库

• 替换mysql驱动为pgsql的jdbc驱动

    -- pom引入依赖 
    
           org.postgresql
           postgresql
           42.5.0
     

    -- 修改application.yml
    url: jdbc:postgresql://xxxx:5432/xxxx
    driver-class-name: org.postgresql.Driver
    
    validationQuery: select version()
1
2
3
4
5
6
7
8
9
10
11
12

• 如果dws使用的域名且后端部署在docker上，需要在docker run 命令中添加域名映射，一个域名可对应多个IP,例如：

--add-host=tf-dws.dws.sgic.sgcc.com.cn:10.31.198.42
--add-host=tf-dws.dws.sgic.sgcc.com.cn:10.31.167.01
1
2

• 检查dws区时，是否与现实时间有8小时时差
  如果有时差，涉及到获取系统时间的函数需要调整：1计算好系统时间作为参数传入sql，2在sql语句中加上时差，例如：

select CURRENT_time + interval ‘8 hour’

3，sql查询语法改造

• 移除所有sql语句中的`
• 移除所有 cast(column as signed),signed 在pgsql不适用
• 移除所有 replace into
• bigint字段对应的实体Long类型转为Integer,xml中也要改为 jdbcType=“INTEGER”;
• mapper.xml中的limit m,n，调整为limit m offset n,或者在service层使用PageHelper.startPage(pageNum, pageSize);
• column!=‘’ 或 column<>‘’ 语句查询结果全空，只需要保留 is not null,不需要判断空字符串
• 不允许update语句修改第一列，第一列会默认作为分布列，可以修改不会变动的列为分布列：

  alter table customer_t1 DISTRIBUTE BY hash (c_customer_sk);

• DATE_FROMAT(column,‘%Y’) 替换成 SUBSTR(column,0,4)
• DATE_FORMATE(NOW(),‘%Y’) 和 DATE_FORMATE(CURRENT_TIMESTAMP,‘%Y’) 替换成 to_char(CURRENT_TIMESTAMP,‘yyyy’)
• ADDDATE(column,INTERVAL 1 DAY) 替换成 SUBSTR((to_date(column) + INTERVAL ‘1 DAY’),0,10)
• IFNULL(COLUMN,‘其他’) 替换成 NVL(COLUMN,‘其他’)

4，一些建议

1. 如果只是一个数据源，xml中最好省略库名，方便替换数据源
2. 排序、分页、和一些简单的查询推荐 TkMybatis ,不需要写xml，改表字段只需要改实体字段
3. 详细的sql语法最好还是去操作手册查询，有些冷门语法很实用