Spark面试题（二）

reduceByKey、foldByKey、aggregateByKey、combineByKey区别

算子	初始值	逻辑
reduceByKey	没有初始值	分区内和分区间逻辑相同
foldByKey	有初始值	分区内和分区间逻辑相同
aggregateByKey	有初始值	分区内和分区间逻辑可以不同
combineByKey	初始值可以变换结构	分区内和分区间逻辑可以不同

请列举会引起Shuffle过程的Spark算子，并简述功能

reduceByKey：可以将数据按照相同的Key对Value进行聚合
groupByKey：可以将数据按照相同的key对Value进行分组
aggregateByKey ：可以将数据根据不同的规则进行分区内计算和分区间计算，有初始值。
foldByKey：当分区内规则和分区间规则相同时，aggregateByKey可以简化为foldByKey。
combineByKey：有初始值的聚集函数，允许返回值类型与输入类型不一致。
sortByKey：在一个（K,V&

相关阅读:
使用Python导出hustoj题目提交代码结果（用于收集留言的题目）
和孩子斗智斗勇 - 第二回合: 限制微软应用商店
 持续测试破解自动化测试的行业谜题
 单调栈——739. 每日温度
 C++指针危险的原因
 计算机毕业设计ssm东方医院预约挂号系统sj6ck系统+程序+源码+lw+远程部署
 看资深开发者如何表白低代码
 Kubernetes v1.21.5部署xxl-job 2.3.1
关键字 internal
github将默认分支main改为master
原文地址：https://blog.csdn.net/Laoddaaa/article/details/126448618