spark jdbc操作

按条件读表

如果要按条件读表，按官网的解释可以用query参数，官网也说dbtable和query参数不能同时使用，但是我测试发现只用query会报错，说没有dbtable参数。
requirement failed: Option ‘dbtable’ is required

可以用dbtable参数查询，注意写法，要加一个表的别名。

jdbcDF = spark.read
 .format("jdbc")
 .option("url", "jdbc:mysql://172.17.1.80:3306?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true")
 .option("dbtable", "(select id from dbtest.test ) tmp")
 .option("user", "root")
 .option("password", "123456")
 .load()
1
2
3
4
5
6
7

全量和增量写表

下面是把df2这个dataframe写入到mysql中，df2的schema的字段名要和mysql中的字段名一致。

 df2.write
    .format("jdbc")
    .mode(SaveMode.Overwrite)
    .option("url", this.url + "&rewriteBatchedStatements=true")
    .option("dbtable", this.database + "." + this.table)
    .option("truncate",true)
    .option("batchSize", bSize)
    .option("user", this.user)
    .option("password", this.password)
    .save()
1
2
3
4
5
6
7
8
9
10

SaveMode有四个模式，默认是ErrorIfExists

注意Overwrite 是先删表再建表，如果不想删表，而是要清空表的数据再插入新的数据需要设置.option(“truncate”,true)