码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Yarn调度器


    Yarn调度器主要分三类:

    FIFO、CapacityScheduler(容量调度器)和Fair Scheduler(公平调度器)。
    Apache默认的资源调度器是容量调度器。
    CDH默认是公平调度器。

    区别:

    FIFO调度器:不支持多队列、先进先出,生产环境不会用。
    容量调度器:支持多队列,保证先进入的任务优先执行。
    公平调度器:支持多队列,保证每个任务公平享有队列资源。资源不够时可以按照缺额分配。

    特点:

    FIFO调度器:简单易懂;不支持多队列;生产环境不会使用。
    容量调度器:支持多队列;优先选择资源利用率低的队列;每个队列可以采用FIFO或者DRF调度策略;如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他借调的资源会归还给该队列。
    在这里插入图片描述
    公平调度器:支持多队列;优先选择对资源的缺额比例大的;每个队列可以采用FIFO、FAIR或者DRF策略;可以借调资源给需要的队列;

    怎么选择:

    大厂:如果对并发要求高,选择公平,要求服务器性能必须OK。
    中小公司,集群服务器资源不太充裕,选择容量。

    生产环境怎么创建队列

    1. 调度器默认一个default队列,不能满足需求。
    2. 按照框架:hive/spark/flink 每个框架的任务放入指定的队列(使用的不是特别多)。
    3. 按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2

    创建多队列的好处

    1. 不用担心员工不小心写递归死循环代码,将所以资源耗尽。
    2. 实现任务的降级使用,特殊时期保证重要的任务队列资源充足。

    业务部门 1(重要)=》业务部门 2(比较重要)=》下单(一般)=》购物车(一般)=》 登录注册(次要)

  • 相关阅读:
    Linux 进程的出生
    实现element 下拉选择分页加载
    libusb获取Windows设备实例路径DevicePath
    力扣第454题 四数相加 || c++哈希map使用
    vuedraggable插件在弹框中使用时,遇到了哪些问题
    python实现选择排序算法
    与云idea的初见:知此软件必能成也
    以mpVue、Taro为代表的小程序开发效率提升工具
    Docker 保存与发布(commit, save, load)
    云盒子联合深信服,为南京一中打造智慧双模教学资源分享平台
  • 原文地址:https://blog.csdn.net/Laoddaaa/article/details/126263317
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号