• 将绿色计算进行到底,蚂蚁集团四大硬核黑科技全公开


    作者 |  伍杏玲

    出品 | CSDN

    在红包和优惠券齐飞的热闹气氛下,第14个“双11”正式结束。可能大家意料不到的是,你在买单时,绿色计算为降低碳排放“买单”,打造绿色低碳的双 11。

    看到这,你可能有疑问,自己在手机/网站浏览商品、下单结账,这么简单的操作,如何和绿色计算、节能减碳挂钩?

    01 算力激增,绿色计算势在必行

    当我们在手机浏览、选择点击时,背后海量数据正被飞快计算,消耗能源,从而产生碳排放。据工信部最新数据显示,截至 2022 年 6 月底,我国在用服务器规模近 2000 万台,位居全球第二,近五年平均增速超过 30%。算力已经成为继热力、电力之后新的关键生产力。

    绿色计算是帮助海量数据在计算过程中提高效率、减少浪费、减少碳排。业界普遍认为绿色计算涵盖以下三个方面:一是采用高效节能的计算设备和配套设施,二是保证可靠性的前提下提高计算资源分配效率;三是保障低成本低能耗的新型系统与应用。

    在双 11 这场“商业奥运会”中,数据流量达到巨大的峰值,如何调配资源满足计算需求,并达到高效、减排的目标,成为科技企业需考虑的难题。在“双碳”目标下,绿色低碳已成为各家企业的必答题。

    蚂蚁集团持续关注绿色计算的发展,并上升为战略级计划。在 2022 年双11期间,经中环联合认证中心(CEC)测算,蚂蚁集团通过“绿色计算”技术节省 153.8 万度电,可供一盏普通节能灯使用 1 亿 5 千万个小时;减排 947 吨二氧化碳当量,约等于 79000 棵树的年碳吸存量。这是蚂蚁集团第二年大规模应用“绿色计算”技术提高双11期间算力资源利用效率,节能减排效果较去年同期增长 140%。

    这背后是哪些黑科技加持助力的?蚂蚁集团绿色计算负责人、基础设施委员会主席何征宇为我们详细解剖。

    02 四大绿色技术,建立开放共享绿色体系

    “用更绿色的技术,为世界带来微小而美好的改变。”是的,蚂蚁集团正在践行。

    何征宇表示,为了实现数字经济的高质量发展目标,科技业界需要利用数字化技术去提高发展的效率,同时不让算力造成新的问题。 “绿色计算”就是蚂蚁集团对此作出的技术探索。从 2019年启动以来,去年蚂蚁已在日常业务中全面应用“绿色计算”,服务器利用率提高近 3 倍。当前,蚂蚁正在搭建计算、存储和算法一体化的全生命周期“绿色计算”技术体系,通过聚焦基础软件技术突破,持续提高算力的利用效率。

    目前业界正在探索绿色计算具体实践有硬件、软件两个方向。在硬件物理层面,降低数据中心 PUE,在算力层面,通过软件技术,合理分配计算资源。

    如在阿里云五大超级数据中心里,通过自研单相浸没液冷技术,PUE 低至1.09,大幅降低数据中心散热能耗。双11期间,张北基地和南通基地清洁能源使用合计超 6000 万千瓦时,相比去年双11同时段增加一倍以上,其中绿电使用日均同比增加 30%。

    而蚂蚁集团对绿色计算的探索主要在软件技术侧发力,通过在离线混合部署、AI弹性容量、云原生分时调度、绿色 AI 四大技术打造绿色计算体系:

    云原生分时调度技术:跟潮汐车道调度类似,错峰编排在线和离线业务,把一份资源灵活分配给不同的任务。如早上7点大家在蚂蚁森林抢能量,临时需要非常多资源机器调度,但过了7点就不需要了,然后等到中午休息时又需要很多算力。云原生分时调度进行潮汐调度,今年落地规模较去年同期扩大10倍,有效提升了减排效果。

    AI弹性容量:互联网的需求不固定,常有突发性高峰。通过 AI,结合图计算、深度学习算法,用 AI 技术做到秒级感知和扩缩容,像天气预报一样来预测容量大小,减少企业的机器数量。

    在离线混合部署:在能源、金融等关键行业,对安全性、隔离性、稳定性要求高,企业将在线和离线应用拆开。蚂蚁集团应用自研 Kata 安全容器技术,做到在线业务和离线业务互不干扰。

    今年蚂蚁集团进一步攻克业界难点,向数据库混部,这需要保证在业务高峰来临时,快速释放离线计算资源,同时保障业务访问稳定。蚂蚁集团对数据库推进容器化,让存储和应用的计算资源统一调度,同时结合数据库容量、调度、容器化隔离技术,做到在混部场景下安全稳定运行,混部CPU利用率70%的情况下,数据库容量降低在10%以内,有效降低了服务器浪费。

    绿色 AI:绿色AI 是蚂蚁集团今年新增的技术方案。主要针对科技企业使用人工智能时普遍存在的算力浪费问题,建立了AI和大数据引擎通用的计算调度和管理系统 Cougar,并搭建绿色算法框架,对人工智能的全生命周期进行绿色优化。当前Cougar 在覆盖总计超过 80 万 CPU core规模的计算任务,带来 20%+ 算力提升。

    在算法层面,建立蚂蚁 Green ML 1.0 的技术框架,涵盖绿色衡量、绿色数据、绿色训练、绿色推理与绿色应用等方向,聚焦人工智能、机器学习算法应用链路的绿色优化,重点通过在算法生命周期各阶段的优化措施来提升整体算力效能,达到节能减排的效果的同时,提升业务效果。当前在支付宝首页服务推荐场景落地后实现整体算力效能提升 150%,实际节约机器资源数约 2.4w core,每天节约电能消耗 5062 度,减少3.1吨碳排放。

    同时定义一套业界全相信绿色衡量指标(PFEC),通过对 AI 算法全生命周期进行效果(P)、算力(F)、能耗(E)、碳排(C)的四维度衡量,全面定量每一个模型和每一次迭代的绿色程度。

    此外,开发者熟悉的分布式数据库OceanBase 也是蚂蚁“绿色计算”技术的组成部分。通过研发支撑混合负载(HTAP)的高性能分布式计算引擎,改进LSM树降低数据存储成本,OceanBase有效降低了服务器浪费。

    由以上硬核黑科技我们发现,蚂蚁集团的绿色计算发展之路,是聚焦基础软件技术突破,以建立开放共享的绿色体系。

    03 携手共建绿色计算生态

    当前,绿色计算生态处于初期探索阶段,单靠一两家企业是不足以生态建设,不少科技企业和机构正积极参与完善绿色技术生态。

    今年,阿里、腾讯、蚂蚁、百度、京东等10家企业宣布共同组成碳中和专业委员会及开放技术联盟,首轮免费共享189项减碳相关专利技术。蚂蚁集团联合CCF(中国计算机学会)在9月发布了国内业界首支“绿色计算”主题科研基金,并在近期联合绿色计算产业联盟举办首届“绿色计算”大赛。今年4月,蚂蚁集团加入“低碳绿色承诺”,承诺将 7 件“绿色计算”相关专利无偿开放,参与编制并与绿色计算产业联盟联合发布《绿色计算产业发展白皮书》。

  • 相关阅读:
    2023.11.14 hivesql的容器,数组与映射
    解决Elasticsearch查询默认最大值返回10000
    Centos8上部署MySQL主从备份
    PHP中的for循环和forEach循环
    Linux基本操作命令
    pikach靶场暴力破解
    公共管理学的名词解释
    python基础:廖雪峰的官方网站Python(部分)笔记
    定时拉取k8s服务中日志
    python3读取yaml文件
  • 原文地址:https://blog.csdn.net/FL63Zv9Zou86950w/article/details/127864185