码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 19.flink task数量,slot数量和taskManage数量


    flink并行度设置

      • 摘要
      • 1.parallelism.default:
      • 2.taskmanager.numberOfTaskSlots
      • 3.taskManager的数量

    摘要

    读者必须明白flink 任务的划分是怎么来的,如果不明白建议去查看相关资料,否则这篇文章对你而言没有任何意义。

    1.parallelism.default:

    我觉得还是英文说的清楚,就不翻译了。
    The default parallelism to use for programs that have no parallelism specified. (DEFAULT: 1). For setups that have no concurrent jobs running, setting this value to NumTaskManagers * NumSlotsPerTaskManager will cause the system to use all available execution resources for the program’s execution. Note: The default parallelism can be overwriten for an entire job by calling setParallelism(int parallelism) on the ExecutionEnvironment or by passing -p to the Flink Command-line frontend. It can be overwritten for single transformations by calling setParallelism(int parallelism) on an operator. See Parallel Execution for more information about parallelism.
    parallelism其实就是并行度,并发执行的线程数量

    2.taskmanager.numberOfTaskSlots

    :The number of parallel operator or user function instances that a single TaskManager can run (DEFAULT: 1). If this value is larger than 1, a single TaskManager takes multiple instances of a function or operator. That way, the TaskManager can utilize multiple CPU cores, but at the same time, the available memory is divided between the different operator or function instances. This value is typically proportional to the number of physical CPU cores that the TaskManager’s machine has (e.g., equal to the number of cores, or half the number of cores). More about task slots.
    值得是当前taskManager进程管理的线程的数量,也可理解成核数。一个taskManager可能会运行多个task,每个task都是最细粒度的执行单元。

    3.taskManager的数量

    parallelism数量/taskmanager.numberOfTaskSlots

  • 相关阅读:
    Redis相关知识
    【第八篇】商城系统-库存管理
    spring复习04,静态代理动态代理,AOP
    即时通讯开发之在WebSocket基础上实现Hybrid移动端消息推送
    redis分布式锁,setnx+lua脚本的java实现
    微商助理 防伪防窜货溯源代理授权查询系统源码
    机器人期刊:Science Robotics and IEEE Transactions
    configure: error: library ‘crypto‘ is required for OpenSSL
    第三十九篇 自定义指令 - directive
    Java底层自学大纲_分布式篇
  • 原文地址:https://blog.csdn.net/qq_36066039/article/details/126307000
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号