码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Flink并行度


    1、Task

    flink中每个算子就是一个Task,比如flatMap、map、sum是一个Task。

    2、SubTask

    算子有几个并行度SubTask的数量就是几,比如

    3、算子并行度

    算子并行度指的是每个算子的并行度,可用env.setParallelism(1);设置所有算子的并行度,也可以对每个算子单独设置,通过降数据流划分为多个并行的算子实例(SubTask)可实现数据的并行处理。

    一个Job的并行度是算子并行度的最大值,比如一个Job中有map算子并行度是2、filter算子并行度是4,则任务并行度就是4。

    总结:Flink中,每一个算子都可以成为一个独立任务(task)。
    在这里插入图片描述

    4、分区、分组

    分区使用keyBy函数,目的是为了进行并行计算,通过hash(key)%并行度 来把数据分到不同分区然后并行计算提报计算效率。
    由于keyby使用了取模运算,所以同一个区分可能存在不同分组的数据,如下图北京和山东在同一个分区,但是在不同分组。
    keyby之后使用sum函数会对不同分区内的数据并行计算,同一个并且同一个分组内的数据才会进行sum运算。

    在这里插入图片描述

  • 相关阅读:
    struts2绕过waf读写文件及另类方式执行命令
    职场工作汇报
    2022-03-02-Maven
    自定义表单模型小程序源码系统 带完整的部署教程
    【网络通信 -- WebRTC】WebRTC 源码分析 -- PacingController 相关知识点补充
    小程序之微信登录授权(6)
    java中循环遍历某个文件夹下面的文件,不压缩自身的文件夹,然后压缩成tar.gz格式,压缩失败报异常,代码类编写?
    四种自动化测试模型实例及优缺点
    如何写最基础的播放音频界面
    Bootstrap响应式轮播效果网页(1+X Web前端开发中级 例题)
  • 原文地址:https://blog.csdn.net/rhwan/article/details/136573541
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号