Spark SQL执行多次join后越来越慢，最后出现OOM

目录

背景

项目简介

出现的问题

分析

 解决

参考

---

背景

项目简介

Spark 2.4.8版本，主要使用Spark SQL的功能。简单的来说，就是使用sparkSession.sql(sql)来实现的。大致的示例代码如下：

// 1、通过SQL查询待核对的数据，并创建临时视图
Dataset checkDataset = sparkSession.sql(sql);
String checkView = "xxx_check_view";
checkDataset.createOrReplaceTempView(checkView);
 
// 2、执行join SQL来关联得到想要的数据
String joinSql =