25.flink上下游算子之间数据是如何流动的（重要）

摘要

flink在处理数据的时候，一个重要的特性是并行处理。 flink上游的数据源不管是hdfs还是kafka或者是读取文件系统，在大多数时候都是逻辑上把数据划分为多分分区，然后处理的时候每个分区会对应一个线程去处理。当数据由上游算子到下游算子的时候，其本质上是上游线程到下游线程之间的数据传输。 而这个线程在flink官方的描述中被称为task任务。

1.上下游算子之间数据传输图

2.你真的理解数据传输了嘛？

我希望读者认真知道数据传输的重要性，如果你不明白这个知识，你根本无法理解水位线是如何传输的。 我想总结几句话：

1.水位线的传输以及窗口的计算，本质上是在task之间通过socket传输的。
2.而event time窗口的触发。本质上是给当前线程定义了一个定时器,到点了线程就执行。
3.状态，这也是我想说的重点，所谓的状态其实就是当前线程的局部变量。所谓的状态持久化就是把当前线程的局部变量（也可称为缓存）存储到外部系统， 目前默认状态存储在jvm内存中，实际开发中会让状态存储在RocketDB中。
4.所谓的检查点checkpoint/savepoint,本质上就是把当前运行的线程的状态（局部变量或者称为缓存）存储到文件中， 检查点比较重要的几个状态缓存：source消费到哪里了（offset位置），某些我们在算子内部定义的状态缓存， 窗口计算中当前窗口中还未计算的数据（flink自己实现的。）

将状态理解成线程局部变量是很容易入门flink的想法，最后共勉之。