• 第三章 调度系统架构设计之获取集群资源信息


    • 实现方案:通过Rest API方式获取集群资源与内存信息判断是否继续提交任务还是将任务阻塞在客户端

    1、Yarn的Rest API

    (1)Rest API简介

    ​ Rest将增删改查直接映射到HTTP中已实现的GET、POST、PUT、DELETE方法。

    (2)Yarn Rest API

    ​ Hadoop YARN 自带了一系列的web service REST API,我们可以通过这个web service,可以通过web service访问集群(cluster)、节点(nodes)、应用(application)以及应用的历史信息。

    • 注意事项:web service REST API语法如下
    http://{http address of service}/ws/{version}/{resourcepath}
    
    • 1

    ①address:获取服务器的地址信息,包括RM、NM、History

    ②ws:固定语句

    ③version:API版本

    ④resourcepath:资源路径

    (3)Yarn集群监控指标相关Rest API

    ①API说明

    • 访问路径:
    http://
  • 相关阅读:
    String&StringBuilder&StringBuffer
    缓存穿透、雪崩与击穿
    干货分享 | 速速围观,想要BIM落地,这些应用阶段都不可或缺
    合并区间问题
    Vue项目的记录(十二)
    【 Tkinter界面-练习05】 event和bind
    OpenFeign实现分析、源码解析
    Python 实现动态解析阿里云DNS记录
    台式万用表几位的概念以及NPLC的功能作用
    Java 简单易懂的JSON框架
  • 原文地址:https://blog.csdn.net/qq_27924553/article/details/126099122