Flink 运行时架构梳理

一、Flink运行时架构

（一）Flink运行时组件

1. 作业管理器（JobManager）
   （1） 每个应用程序会被不同的JobManager控制执行。
   （2） JobManager会先接收到执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（Logical dataflow graph）和打包了所有的类、库和其他资源的JAR包。
   （3）JobManager会把JobGraph转换成一个物理层面的数据流图，这个图叫做”执行图“（ExecutionGraph）,包含了所有可以并发执行的任务。
   （4）JobManager会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取了足够的资源，就会将执行图分到真正运行它们的TaskManager上。而在运行过程中，JobManager会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。
2. 任务管理器（TaskManager）
   （1）Flink中的工作进程。通常在Flink中会有多个TaskManager运行，每个TaskManager都包含了一定数量的插槽（slots）。插槽的数量限制了TaskManager能够执行的任务数量。
   （2）启动之后，TaskManager会向资源管理器注册它的插槽；收到资源管理器的指令后，tm就会将一个或者多个插槽提供给jm调用。tm就可以向插槽分配任务（tasks）来执行了。
   （3）在执行的过程中，一个tm可以跟其他运行同一应用程序的tm交换数据。
3. 资源管理器（ResourceManager）
   （1）主要负责管理任务管理器（tm）的插槽（slot），tm插槽是Flink中定义的处理资源单元。
   （2）Flink为不同的环境和资源管理工具提供了不同资源管理器，比如yarn、mesos、k8s以及standalone部署。
   （3）当jm申请插槽资源时，rm会将又空闲插槽的tm分配给jm。如果rm没有足够的插槽来满足jm的请求，它还可以向资源提供平台发起会话，以提供启动tm进程的容器。
4. 分发器（Dispatcher）
   （1）可以跨作业运行，它为应用提交提供了REST接口。
   （2）当一个应用被提交执行时，分发器就会启动并将应用移交给一个jm。
   （3）Dispatcher也会启动一个web ui，用来方便展示和监控作业执行的消息。
   （4）Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。

（二）任务提交流程
5. session模式

6. per job模式

（三） 任务调度原理

3. 并行度（parallelism）
   
   一个特定算子的子任务（subtask）个数被称为其并行度。
   一般情况下，一个stream的并行度，可以认为就是其所有算子中最大的并行度。
   
   Flink中每一个tm都是一个jvm进程，它可能会在独立的线程上执行一个或者多个子任务。
   为了控制一个tm能接收多少个task，tm通过task slot来进行控制（一个tm至少有一个slot）
4. 程序与数据流（DataFlow）
   （1）所有的Flink程序都是由三部分组成的：Source、Transformation和Sink。
   （2）Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出。