flink集群部署

虚拟机配置

bigdata-hmaster 192.168.135.112 4核心 32GB
bigdata-hnode1 192.168.135.113 4核心 16GB
bigdata-hnode2 192.168.135.114 4核心 16GB

安装包：https://dlcdn.apache.org/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz

放到/usr/lcoal/lib目录下,并解压

tar -zxvf flink-1.17.1-bin-scala_2.12.tgz

1、配置文件

masters、workers、flink-conf.yaml

flink-conf.yaml

具体配置

jobmanager.rpc.address: bigdata-hmaster
jobmanager.rpc.port: 6123
jobmanager.bind-host: 0.0.0.0
jobmanager.memory.process.size: 1600m
taskmanager.bind-host: 0.0.0.0
taskmanager.memory.process.size: 8192m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 1
state.savepoints.dir: file:///tmp/flink/savepoint
jobmanager.execution.failover-strategy: region
rest.port: 8181
rest.address: 0.0.0.0
rest.bind-address: 0.0.0.0
1
2
3
4
5
6
7
8
9
10
11
12
13

参数解释

jobmanager.rpc.address：JobManager的RPC（远程过程调用）地址，用于与客户端和TaskManager通信。
jobmanager.rpc.port：JobManager的RPC端口，用于与客户端和TaskManager通信。
taskmanager.numberOfTaskSlots：每个TaskManager上可用的任务槽数量，用于并行执行任务。
taskmanager.memory.process.size：TaskManager进程的总共可用内存大小，可以设置为“2g”、“1g”等形式。
taskmanager.memory.task.heap.size：每个任务的堆内存大小，用于存储任务的对象。
taskmanager.memory.task.off-heap.size：每个任务的堆外内存大小，用于存储非堆对象。
parallelism.default：默认并行度，用于指定未明确设置并行度的任务的并行执行数量。
state.checkpoints.dir：检查点存储路径，用于持久化任务的状态，以便在发生故障时进行恢复。
state.backend：状态后端，用于决定如何管理和存储任务的状态数据。
metrics.reporters：指定要使用的度量报告器的列表，用于收集和展示任务运行过程中的度量数据。
1
2
3
4
5
6
7
8
9
10

master

bigdata-hmaster:8181
1

workers

bigdata-hnode1
bigdata-hnode2
1
2

2、配置环境变量并启动

vim /etc/profile

export FLINK_HOME=/usr/local/lib/flink-1.17.1
export PATH=$PATH:$FLINK_HOME/bin

source /etc/profile
1
2
3
4
5
6

start-cluster.sh
stop-cluster.sh