使用Spark SQL读取阿里云OSS的数据

读OSS数据

创建一个table，并关联OSS目录路径

CREATE TABLE my_table
USING parquet
OPTIONS (
  path 'oss://my_bucket/my_data_dir/dt=20230904',  -- 关联OSS路径
  header 'true', -- 如果Parquet文件包含列名的头部信息，则设置为'true'，否则设置为'false'
  inferSchema 'true' -- 自动推断Parquet文件的模式
);
1
2
3
4
5
6
7

如果数据文件是Parquet格式的，可以自动推断出表的schema，很方便。

这样就可以使用sql语句读取数据了。

DESC my_table;
SELECT * FROM my_table limit 50;
1
2

写OSS数据

首先创建一个关联OSS目录的database:

--drop database if exists keepdb CASCADE;  -- 注意这个drop操作会删除OSS上对应目录下的数据，谨慎！！！

create database if not exists my_db location 'oss://my_bucket.oss-cn-beijing-internal.aliyuncs.com/my-data-dir';
1
2
3

现在就可以通过sql写入数据到OSS了，如下：

use my_db;

create table my_oss_table like my_table;

insert overwrite table my_oss_table
select * from my_table;
1
2
3
4
5
6