作者 | 伍杏玲
出品 | CSDN
在红包和优惠券齐飞的热闹气氛下,第14个“双11”正式结束。可能大家意料不到的是,你在买单时,绿色计算为降低碳排放“买单”,打造绿色低碳的双 11。
看到这,你可能有疑问,自己在手机/网站浏览商品、下单结账,这么简单的操作,如何和绿色计算、节能减碳挂钩?
01 算力激增,绿色计算势在必行
当我们在手机浏览、选择点击时,背后海量数据正被飞快计算,消耗能源,从而产生碳排放。据工信部最新数据显示,截至 2022 年 6 月底,我国在用服务器规模近 2000 万台,位居全球第二,近五年平均增速超过 30%。算力已经成为继热力、电力之后新的关键生产力。
绿色计算是帮助海量数据在计算过程中提高效率、减少浪费、减少碳排。业界普遍认为绿色计算涵盖以下三个方面:一是采用高效节能的计算设备和配套设施,二是保证可靠性的前提下提高计算资源分配效率;三是保障低成本低能耗的新型系统与应用。
在双 11 这场“商业奥运会”中,数据流量达到巨大的峰值,如何调配资源满足计算需求,并达到高效、减排的目标,成为科技企业需考虑的难题。在“双碳”目标下,绿色低碳已成为各家企业的必答题。
蚂蚁集团持续关注绿色计算的发展,并上升为战略级计划。在 2022 年双11期间,经中环联合认证中心(CEC)测算,蚂蚁集团通过“绿色计算”技术节省 153.8 万度电,可供一盏普通节能灯使用 1 亿 5 千万个小时;减排 947 吨二氧化碳当量,约等于 79000 棵树的年碳吸存量。这是蚂蚁集团第二年大规模应用“绿色计算”技术提高双11期间算力资源利用效率,节能减排效果较去年同期增长 140%。
这背后是哪些黑科技加持助力的?蚂蚁集团绿色计算负责人、基础设施委员会主席何征宇为我们详细解剖。
02 四大绿色技术,建立开放共享绿色体系
“用更绿色的技术,为世界带来微小而美好的改变。”是的,蚂蚁集团正在践行。
何征宇表示,为了实现数字经济的高质量发展目标,科技业界需要利用数字化技术去提高发展的效率,同时不让算力造成新的问题。 “绿色计算”就是蚂蚁集团对此作出的技术探索。从 2019年启动以来,去年蚂蚁已在日常业务中全面应用“绿色计算”,服务器利用率提高近 3 倍。当前,蚂蚁正在搭建计算、存储和算法一体化的全生命周期“绿色计算”技术体系,通过聚焦基础软件技术突破,持续提高算力的利用效率。
目前业界正在探索绿色计算具体实践有硬件、软件两个方向。在硬件物理层面,降低数据中心 PUE,在算力层面,通过软件技术,合理分配计算资源。
如在阿里云五大超级数据中心里,通过自研单相浸没液冷技术,PUE 低至1.09,大幅降低数据中心散热能耗。双11期间,张北基地和南通基地清洁能源使用合计超 6000 万千瓦时,相比去年双11同时段增加一倍以上,其中绿电使用日均同比增加 30%。
而蚂蚁集团对绿色计算的探索主要在软件技术侧发力,通过在离线混合部署、AI弹性容量、云原生分时调度、绿色 AI 四大技术打造绿色计算体系:
云原生分时调度技术:跟潮汐车道调度类似,错峰编排在线和离线业务,把一份资源灵活分配给不同的任务。如早上7点大家在蚂蚁森林抢能量,临时需要非常多资源机器调度,但过了7点就不需要了,然后等到中午休息时又需要很多算力。云原生分时调度进行潮汐调度,今年落地规模较去年同期扩大10倍,有效提升了减排效果。
AI弹性容量:互联网的需求不固定,常有突发性高峰。通过 AI,结合图计算、深度学习算法,用 AI 技术做到秒级感知和扩缩容,像天气预报一样来预测容量大小,减少企业的机器数量。
在离线混合部署:在能源、金融等关键行业,对安全性、隔离性、稳定性要求高,企业将在线和离线应用拆开。蚂蚁集团应用自研 Kata 安全容器技术,做到在线业务和离线业务互不干扰。
今年蚂蚁集团进一步攻克业界难点,向数据库混部,这需要保证在业务高峰来临时,快速释放离线计算资源,同时保障业务访问稳定。蚂蚁集团对数据库推进容器化,让存储和应用的计算资源统一调度,同时结合数据库容量、调度、容器化隔离技术,做到在混部场景下安全稳定运行,混部CPU利用率70%的情况下,数据库容量降低在10%以内,有效降低了服务器浪费。
绿色 AI:绿色AI 是蚂蚁集团今年新增的技术方案。主要针对科技企业使用人工智能时普遍存在的算力浪费问题,建立了AI和大数据引擎通用的计算调度和管理系统 Cougar,并搭建绿色算法框架,对人工智能的全生命周期进行绿色优化。当前Cougar 在覆盖总计超过 80 万 CPU core规模的计算任务,带来 20%+ 算力提升。
在算法层面,建立蚂蚁 Green ML 1.0 的技术框架,涵盖绿色衡量、绿色数据、绿色训练、绿色推理与绿色应用等方向,聚焦人工智能、机器学习算法应用链路的绿色优化,重点通过在算法生命周期各阶段的优化措施来提升整体算力效能,达到节能减排的效果的同时,提升业务效果。当前在支付宝首页服务推荐场景落地后实现整体算力效能提升 150%,实际节约机器资源数约 2.4w core,每天节约电能消耗 5062 度,减少3.1吨碳排放。
同时定义一套业界全相信绿色衡量指标(PFEC),通过对 AI 算法全生命周期进行效果(P)、算力(F)、能耗(E)、碳排(C)的四维度衡量,全面定量每一个模型和每一次迭代的绿色程度。
此外,开发者熟悉的分布式数据库OceanBase 也是蚂蚁“绿色计算”技术的组成部分。通过研发支撑混合负载(HTAP)的高性能分布式计算引擎,改进LSM树降低数据存储成本,OceanBase有效降低了服务器浪费。
由以上硬核黑科技我们发现,蚂蚁集团的绿色计算发展之路,是聚焦基础软件技术突破,以建立开放共享的绿色体系。
03 携手共建绿色计算生态
当前,绿色计算生态处于初期探索阶段,单靠一两家企业是不足以生态建设,不少科技企业和机构正积极参与完善绿色技术生态。
今年,阿里、腾讯、蚂蚁、百度、京东等10家企业宣布共同组成碳中和专业委员会及开放技术联盟,首轮免费共享189项减碳相关专利技术。蚂蚁集团联合CCF(中国计算机学会)在9月发布了国内业界首支“绿色计算”主题科研基金,并在近期联合绿色计算产业联盟举办首届“绿色计算”大赛。今年4月,蚂蚁集团加入“低碳绿色承诺”,承诺将 7 件“绿色计算”相关专利无偿开放,参与编制并与绿色计算产业联盟联合发布《绿色计算产业发展白皮书》。