Spark之Container killed on request.Exit code is 137

项目场景：

今天从MySQL中读取数据导入到Doris里面，写入批次是10万一批，并行度90，MySQL数据量在5亿多条，内存没给够导致部分task出现fail

---

原因分析

1. 当容器（Spark 执行程序）内存不足时，YARN 会自动将其终止。这会导致“Container killed on request.Exit code is 137”（根据要求终止容器。退出代码为 137）错误。这些错误可能发生在不同的作业阶段，无论是否发生shuffle。
2. 当操作系统内存不足时，YARN 容器也可能被操作系统 oom_reaper 终止，从而导致“Container killed on request.Exit code is 137”（根据要求终止容器。退出代码为 137）错误。

---

解决方案：

1. 调整driver或者executor内存

--executor-memory 10g --driver-memory 10g

2. 增加分区

如果无法增加容器内存（例如，如果在节点上使用的是 maximizeResourceAllocation），则增加 Spark 分区的数量。这可减少单个 Spark 任务处理的数据量，从而减少单个执行程序使用的总内存。 df.repartition(200)

3. 增加随即分区数量

如果在shuffle中发生错误（例如 join 或 groupBy），则添加更多的随机分区。默认值为 200
--conf spark.sql.shuffle.partitions=500

4. 缩减executor核数

减少executor核的数量会减少执行程序同时处理的最大任务数，从而减少container使用的内存量

5. 增加实例大小

当操作系统内存不足时，YARN 容器也可能被操作系统 oom_reaper 终止。如果此错误是因 oom_reaper 引起的，请使用具有更多 RAM 内存的更大实例。您还可以降低 yarn.nodemanager.resource.memory-mb，以防止 YARN 容器耗尽 Amazon EC2 的所有 RAM 内存。

可以通过检查 服务器日志来获取 dmesg 命令输出，从而检测错误是否是因 oom_reaper 引起的。首先找到运行被终止 YARN 容器的核心节点或任务节点。可以使用 YARN 资源管理器 UI 或日志查找此信息。然后检查容器被终止之前和之后在此节点上的 Amazon EMR 实例状态日志，确定导致进程终止的原因。

在下例中，对应于 YARN container_165487060318_0001_01_000244 的 ID 36787 进程被内核（Linux 的内存耗尽终止程序）终止：

dmesg | tail -n 25

[ 3910.032284] Out of memory: Kill process 36787 (java) score 96 or sacrifice child
[ 3910.043627] Killed process 36787 (java) total-vm:15864568kB, anon-rss:13876204kB, file-rss:0kB, shmem-rss:0kB
[ 3910.748373] oom_reaper: reaped process 36787 (java), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB
1
2
3
4
5