Spark SQL数据通用保存数据_大数据培训

保存数据

1）write直接保存数据

scala> df.write.

csv  jdbc   json  orc   parquet textFile… …

注意：保存数据的相关参数需写到上述方法中。如：textFile需传入加载数据的路径，jdbc需传入JDBC相关参数。

2）format指定保存数据类型

scala> df.write.format(“…”)[.option(“…”)].save(“…”)

用法详解：

（1）format(“…”)：指定保存的数据类型，包括”csv”、”jdbc”、”json”、”orc”、”parquet”和”textFile”。

（2）save (“…”)：在”csv”、”orc”、”parquet”和”textFile”格式下需要传入保存数据的路径。

（3）option(“…”)：在”jdbc”格式下需要传入JDBC相应参数，url、user、password和dbtable

3）文件保存选项

可以采用SaveMode执行存储操作，SaveMode定义了对数据的处理模式。SaveMode是一个枚举类，其中的常量包括：

（1）Append：当保存路径或者表已存在时，追加内容；

（2）Overwrite： 当保存路径或者表已存在时，覆写内容；

（3）ErrorIfExists：当保存路径或者表已存在时，报错；

（4）Ignore：当保存路径或者表已存在时，忽略当前的保存操作。

使用详解：

df.write.mode(SaveMode.Append).save(“… …”)