• Yarn调度器


    Yarn调度器主要分三类:

    FIFO、CapacityScheduler(容量调度器)和Fair Scheduler(公平调度器)
    Apache默认的资源调度器是容量调度器。
    CDH默认是公平调度器。

    区别:

    FIFO调度器:不支持多队列、先进先出,生产环境不会用。
    容量调度器:支持多队列,保证先进入的任务优先执行。
    公平调度器:支持多队列,保证每个任务公平享有队列资源。资源不够时可以按照缺额分配。

    特点:

    FIFO调度器:简单易懂;不支持多队列;生产环境不会使用。
    容量调度器:支持多队列;优先选择资源利用率低的队列;每个队列可以采用FIFO或者DRF调度策略;如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他借调的资源会归还给该队列。
    在这里插入图片描述
    公平调度器:支持多队列;优先选择对资源的缺额比例大的;每个队列可以采用FIFO、FAIR或者DRF策略;可以借调资源给需要的队列;

    怎么选择:

    大厂:如果对并发要求高,选择公平,要求服务器性能必须OK。
    中小公司,集群服务器资源不太充裕,选择容量。

    生产环境怎么创建队列

    1. 调度器默认一个default队列,不能满足需求。
    2. 按照框架:hive/spark/flink 每个框架的任务放入指定的队列(使用的不是特别多)。
    3. 按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2

    创建多队列的好处

    1. 不用担心员工不小心写递归死循环代码,将所以资源耗尽。
    2. 实现任务的降级使用,特殊时期保证重要的任务队列资源充足。

    业务部门 1(重要)=》业务部门 2(比较重要)=》下单(一般)=》购物车(一般)=》 登录注册(次要)

  • 相关阅读:
    OpenCV校准棋盘集合
    在SpringBoot中使用logback优化异常堆栈的输出
    游戏声效知多少-Unity
    求老表们指导一下如何安装react
    Route53 – Part 1
    金仓数据库 KingbaseES SQL 语言参考手册 (20. SQL语句: MERGE 到 VALUES)
    大语言模型(LLM) RAG概念
    ChatGPT降温背后:大模型发展迎来真正转折点?
    剑指Offer 36.二叉搜索树与双向链表 中序遍历
    MyBatisPlus_快速入门_笔记
  • 原文地址:https://blog.csdn.net/Laoddaaa/article/details/126263317