Spark 教程系列

1.spark 基本概念

spark学习笔记（2）spark基本概念和术语解释_攻城的蒂巴格的博客-CSDN博客

2.广播变量和累加器的理解

Spark共享变量(广播变量、累加器)_SunnyRivers的博客-CSDN博客

3.线上实际任务分析

第一部分是driver 日志，第二部分是excutor 日志

4.spark 资源设置

(1)首先检查你的最大并行度（task个数）是否大于申请的vcore个数，如果不是的话，减少executorVcores，使得executorCores*executorNum小于Spark任务的最大并行度。在executor memory不变的情况下，降低executor cores会提高单位vcore的memory使用量。

(2)如果你的Spark任务执行较慢，可提高任务的并行度，充分利用你当前申请的资源。

从MapReduce 到 Spark ，任务提升100倍

相关阅读:
Linux进程间通信
题解——二维费用背包问题（宠物小精灵之收服、潜水员）
【计算机组成原理】第三章单元测试
论文阅读：A new approach solve the multi-product multi-period inventory lot sizing with supplier selection problem
微信小程序获取openid流程
BeamManagement
node 解决多版本配置 error:03000086:digital 引起的问题已解决
Unity Samples和帧动画的问题
Ubuntu下启动Apache对.htaccess 的支持步骤, 利用.htaccess绑定域名到子目录
负担过重何以轻装前行

原文地址：https://blog.csdn.net/weixin_43291055/article/details/126300318