码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 大数据高级开发面试题总结及答案汇总之[Spark系列](持续更新中)


    目录

    1.Spark架构与作业提交流程

    2.Spark提交作业参数

    3.RDD属性

    4.Spark算子

    5.Repartition和Coalesce区别

    6.reduceByKey和groupByKey的区别

    7.Spark中的血缘

    8.Spark任务的划分

    9.cache缓存级别

    10.释放缓存和缓存

    11.缓存和检查点区别

    12.Spark分区

    13.Spark累加器

    14.Spark广播变量

    15.SparkSQL中RDD、DataFrame、DataSet三者的转换

    16.请列举会引起Shuffle过程的Spark算子,并简述功能

    17.当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

    18.Spark实现TopN

    19.Spark内核源码

    20.Spark通讯架构

    21.Stage任务划分

    22.Task任务调度执行

    23.HashShuffle流程

    24.SortShuffle流程

    25.bypassShuffle流程

    26.Spark Streaming精准一次

    27.Spark Streaming背压机制

    28.Spark Streaming默认分区数

    29.Spark Streaming有哪几种方式消费Kafka中的数据,她们之间的区别是什么?

    30.简述SparkStreaming窗口函数的原理(重点)

    31.数据倾斜的表现

    32.数据倾斜的原因


    1.Spark架构与作业提交流程

    2.Spark提交作业参数

    3.RDD属性

    4.Spark算子

    5.Repartition和Coalesce区别

    6.reduceByKey和groupByKey的区别

    7.Spark中的血缘

    8.Spark任务的划分

    9.cache缓存级别

    10.释放缓存和缓存

    11.缓存和检查点区别

    12.Spark分区

    13.Spark累加器

    14.Spark广播变量

    15.SparkSQL中RDD、DataFrame、DataSet三者的转换

    16.请列举会引起Shuffle过程的Spark算子,并简述功能

    17.当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

    18.Spark实现TopN

    19.Spark内核源码

    20.Spark通讯架构

    21.Stage任务划分

    22.Task任务调度执行

    23.HashShuffle流程

    24.SortShuffle流程

    25.bypassShuffle流程

    26.Spark Streaming精准一次

    27.Spark Streaming背压机制

    28.Spark Streaming默认分区数

    29.Spark Streaming有哪几种方式消费Kafka中的数据,她们之间的区别是什么?

    30.简述SparkStreaming窗口函数的原理(重点)

    31.数据倾斜的表现

    32.数据倾斜的原因

  • 相关阅读:
    普洛斯探索新型算力基础设施“智”冷之道,发布制冷系统预制集成技术白皮书
    使用echarts做一个空气质量指数仪表盘, 对接天气接口, 附源码
    【回归预测-PNN分类】基于粒子群算法群优化概率神经网络算法实现空气质量评价预测附matlab代码
    Seata详解
    详解如何利用PHP实现RPC
    java培训技术ModelAttribute注解修饰POJO类型的入参
    C++学习 --函数
    第六章 文件的其他操作命令
    【考研数学】概率论与数理统计 —— 第三章 | 二维随机变量及其分布(2,常见的二维随机变量及二维变量的条件分布和独立性)
    机器学习之算法优化(二)
  • 原文地址:https://blog.csdn.net/qq_24186017/article/details/127329050
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号