1 背景
了解flink 架构图,怎么说,要了解一个事务,首先需要建立结构化的认知
先通过立体 直观的图形,快速了解flink
2 架构图
3 概念解释
3.1 JobManager
- 协调分布式执行,它们用来调度task,协调检查点(CheckPoint),协调失败时恢复等
- Flink运行时至少存在一个master处理器,如果配置高可用模式则会存在多个master处理 器,它们其中有一个是leader,而其他的都是standby
3.2 ResourceManager
- 针对不同的环境和资源提供者,如(YARN,Me搜索,Kubernetes或独立部署)
- Flink提供了不同的ResourceManager
- 作用:负责管理Flink的处理资源单元---Slot
3.3 TaskManager
- 主要职责是从JobManager处接收任务, 并部署和启动任务, 接收上游的数据并处理
- Task Manager 是在 JVM 中的一个或多个线程中执行任务的工作节点
- TaskManager在启动的时候会向ResourceManager注册自己的资源信息(Slot的数量等)