码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 大数据高级开发面试题总结及答案汇总之[Spark系列](持续更新中)


    目录

    1.Spark架构与作业提交流程

    2.Spark提交作业参数

    3.RDD属性

    4.Spark算子

    5.Repartition和Coalesce区别

    6.reduceByKey和groupByKey的区别

    7.Spark中的血缘

    8.Spark任务的划分

    9.cache缓存级别

    10.释放缓存和缓存

    11.缓存和检查点区别

    12.Spark分区

    13.Spark累加器

    14.Spark广播变量

    15.SparkSQL中RDD、DataFrame、DataSet三者的转换

    16.请列举会引起Shuffle过程的Spark算子,并简述功能

    17.当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

    18.Spark实现TopN

    19.Spark内核源码

    20.Spark通讯架构

    21.Stage任务划分

    22.Task任务调度执行

    23.HashShuffle流程

    24.SortShuffle流程

    25.bypassShuffle流程

    26.Spark Streaming精准一次

    27.Spark Streaming背压机制

    28.Spark Streaming默认分区数

    29.Spark Streaming有哪几种方式消费Kafka中的数据,她们之间的区别是什么?

    30.简述SparkStreaming窗口函数的原理(重点)

    31.数据倾斜的表现

    32.数据倾斜的原因


    1.Spark架构与作业提交流程

    2.Spark提交作业参数

    3.RDD属性

    4.Spark算子

    5.Repartition和Coalesce区别

    6.reduceByKey和groupByKey的区别

    7.Spark中的血缘

    8.Spark任务的划分

    9.cache缓存级别

    10.释放缓存和缓存

    11.缓存和检查点区别

    12.Spark分区

    13.Spark累加器

    14.Spark广播变量

    15.SparkSQL中RDD、DataFrame、DataSet三者的转换

    16.请列举会引起Shuffle过程的Spark算子,并简述功能

    17.当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

    18.Spark实现TopN

    19.Spark内核源码

    20.Spark通讯架构

    21.Stage任务划分

    22.Task任务调度执行

    23.HashShuffle流程

    24.SortShuffle流程

    25.bypassShuffle流程

    26.Spark Streaming精准一次

    27.Spark Streaming背压机制

    28.Spark Streaming默认分区数

    29.Spark Streaming有哪几种方式消费Kafka中的数据,她们之间的区别是什么?

    30.简述SparkStreaming窗口函数的原理(重点)

    31.数据倾斜的表现

    32.数据倾斜的原因

  • 相关阅读:
    AP5191 DC-DC降压恒流IC LED智能控制电源芯片 线性 PWM调光
    前端项目性能优化合集
    c/c++单个文件或函数优化级别设置
    介绍一个中后台管理系统
    c语言编程 “画圆” 源程序
    多测师肖sir_高级金牌讲师__接口测试之tonken (5.6)
    【LeetCode】768. 最多能完成排序的块II
    【相机坐标系、ORB_SLAM2坐标系】
    JS迭代器及异步
    Java面试题总结(二)
  • 原文地址:https://blog.csdn.net/qq_24186017/article/details/127329050
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号