Flink对比Spark

Flink简介

Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink 提供了诸多高抽象层的 API 以便用户编写分布式任务：
DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户 可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。
DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用 户可以方便地对分布式数据流进行各种操作，支持 Java 和 Scala。
Table API，对结构化数据进行查询操作，将结构化数据抽象成关系表，并通过类 SQL 的 DSL 对关系表进行各种查询操作，支持 Java 和 Scala。
此外，Flink 还针对特定的应用领域提供了领域库，例如： Flink ML，Flink 的机器学 习库，提供了机器学习 Pipelines API 并实现了多种机器学习算法。 Gelly，Flink 的图计算库，提供了图计算的相关 API 及多种图计算算法实现。

Flink 跟 Spark Streaming 的区别

Flink 是标准的实时处理引擎，基于事件驱动。而 Spark Streaming 是微批（Micro-Batch）的模型。
两个框架的主要区别：

• 架构模型 Spark Streaming 在运行时的主要角色包括：Master、Worker、Driver、Executor， Flink 在运行时主要包含：Jobmanager、Taskmanager 和 Slot。

– JobManager 扮演着集群中的管理者 Master 的角色，它是整个集群的协调者，负责接收 Flink Job，协调检查点，Failover 故障恢复等，同时管理 Flink 集群中从节点 TaskManager。
– TaskManager 是实际负责执行计算的 Worker，在其上执行 Flink Job 的一组 Task，每个 TaskManager 负责管理其所在节点上的资源信息，如内存、磁盘、网络，在启动的时候将资 源的状态向 JobManager 汇报。
– Client是 Flink程序提交的客户端，当用户提交一个 Flink程序时，会首先创建一个Client， 该 Client 首先会对用户提交的 Flink 程序进行预处理，并提交到 Flink 集群中处理，所以 Client 需要从用户提交的 Flink程序配置中获取 JobManager 的地址，并建立到 JobManager 的连接， 将 Flink Job 提交给JobManager。

• 任务调度 Spark Streaming 连续不断的生成微小的数据批次，构建有向无环图 DAG， Spark Streaming 会依次创建 DStreamGraph、JobGenerator、JobScheduler。Flink 根据用户 提交的代码生成 StreamGraph，经过优化生成 JobGraph，然后提交给 JobManager 进行处理， JobManager 会根据 JobGraph 生成 ExecutionGraph，ExecutionGraph 是 Flink 调度最核心 的数据结构，JobManager 根据 ExecutionGraph 对 Job 进行调度。
• 时间机制 Spark Streaming 支持的时间机制有限，只支持处理时间。 Flink 支持了 流处理程序在时间上的三个定义：处理时间、事件时间、注入时间。同时也支持 watermark 机制来处理滞后数据。

Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据 中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。
Ingestion Time：是数据进入 Flink 的时间。
Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默 认的时间属性就是 Processing Time。

• 容错机制对于 Spark Streaming 任务，我们可以设置 checkpoint，然后假如发生故 障并重启，我们可以从上次 checkpoint 之处恢复，但是这个行为只能使得数据不丢失，可 能会重复处理，不能做到恰好一次处理语义。Flink 则使用两阶段提交协议来解决这个问题