Flink集群部署

集群 standalone 安装部署

1. 下载安装包

下载页面：https://archive.apache.org/dist/flink/flink-1.7.2/

我这里安装的 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 版本。

2. 修改配置文件 conf/flink-conf.yaml

修改如下两个参数：

#填你机器的host名
jobmanager.rpc.address: linux2
taskmanager.numberOfTaskSlots: 2

3. 修改配置文件/conf/slave

linux2
linux3
linux4

4. 将文件发送到其他两个机器

scp -r flink-1.7.2 linux3:/opt/lagou/servers/
scp -r flink-1.7.2 linux4:/opt/lagou/servers/

5. 给每台机器配置环境变量

vim /etc/profile

export FLINK_HOME=/opt/lagou/servers/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

配置完成后使配置文件生效

source /etc/profile

6. 进入 bin 目录，启动集群

./start-cluster.sh

启动完后我们可以输入网址http://linux2:8081/，验证

至此，安装完毕。

然后我们将程序放入集群环境测试。首先需要先打 jar 包，需要注意将依赖也打进去，打包插件如下：

<build>
        <plugins>
            
            <plugin>
                <groupId>org.apache.maven.pluginsgroupId>
                <artifactId>maven-shade-pluginartifactId>
                <version>2.4.3version>
                <executions>
                    <execution>
                        <phase>packagephase>
                        <goals>
                            <goal>shadegoal>
                        goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SFexclude>
                                        <exclude>META-INF/*.DSAexclude>
                                        <exclude>META-INF/*.RSAexclude>
                                    excludes>
                                filter>
                            filters>
                        configuration>
                    execution>
                executions>
            plugin>

        plugins>
    build>

1. 打包完成后，将 jar 包上传
   

2. 选中上传的 jar 包，填入我们 main 方法的全类名，参数等等。然后点击 submit 提交任务。

3. 我们可以先使用 nc 工具向程序输入数据 nc -lk 7000
   

查看日志的输出

Yarn 模式集群部署

1. 配置 yarn-site.xml 文件，增加如下配置：

<property>
    <name>yarn.nodemanager.pmem-check-enabledname>
    <value>falsevalue>
property>
<property>
    <name>yarn.nodemanager.vmem-check-enabledname>
    <value>falsevalue>
property>
  <property>
    <name>yarn.resourcemanager.addressname>
    <value>linux2:8032value>
  property>
  <property>
    <name>yarn.resourcemanager.scheduler.addressname>
    <value>linux2:8030value>
  property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.addressname>
    <value>linux2:8031value>
  property>

2. 启动 hdfs

start-dfs.sh

3. 启动 yarn

start-yarn.sh

4. 进入到 flink 的 bin 目录

# -n 2代表2个task manager，tm 800代表内存800m，-s 1代表一个slots，-d代表后台运行
yarn-session.sh -n 2 -tm 800 -s 1 -d

5. 在 yarn 上提交 flink 作业

方式一：

./flink run -c com.mmc.flink.WordCountStream /export/servers/flink/examples/batch/WordCount.jar

方式二：

# -m jobmanager的地址
# -yn 表示TaskManager的个数
./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /export/servers/flink/examples/batch/WordCount.jar

6. 关闭任务

# 找到yarn任务的id，通过命令杀掉
yarn application -kill application_1527077715040_0003

• 集群 standalone 安装部署
• Yarn 模式集群部署

__EOF__