YARN资源调度策略

YARN资源调度策略

1.FIFO

• 进先出按照任务提交的顺序，先来先服务
• 不支持多队列

2.容量调度器

• 支持多队列，并且支持并行处理任务
• 每个队列采用fifo调度器进行分配，如果优先级相同则按照先进先出顺序执行否则 按照优先级执行
• 避免用户死锁循环 会限制每个用户占用最大资源量
• 如果其他队列有闲置资源，当前队列会借用其他队列资源，但是每个队列都有占用资源最低限制不能超过这个值

3.公平调度器

• 支持多队列
• 同个队列中的任务按照任务优先级来进行分配任务优先级越高则分配的资源越高，并且其他job也会分配占有资源以确保公平
• job理想状态下用到的资源和实际分配的资源做差就得到缺额，缺额越大则分配的资源也越多