2026年夏天,整个AI行业正迎来首轮“耐压测试”——随着大模型参数规模从千亿级跃升至万亿级,训练所需的算力集群功率密度屡创新高,算力中心的散热压力大幅攀升,直逼传统制冷极限。
作为国家“东数西算”工程在上海青浦的标杆示范项目,中国移动长三角(上海)5G生态谷是对内赋能长三角、对外辐射全世界的数字基座,海量算力订单从天南海北、各行各业飞来这里。“我们的工作就是让每一度电安全抵达每一台服务器,让每一丝冷气精准覆盖每一块GPU。”上海移动网络管理中心综合运行维护班长陆翰涛这样定义自己的核心职责,“我们守护的不只是机器,更是整座算力中心的‘心跳’。”
给狂飙的算力“退烧”
盛夏7月,户外温度攀升,而在算力机房内,无形“热浪”也在此起彼伏。走进5G生态谷内,成排的服务器机柜在低鸣中吞吐着海量数据,指示灯闪烁不停。在这里,单机柜功耗就从过去的3-5千瓦一跃升至20千瓦以上,算力中心的服务器正陷入一场无声“烤验”。
图为算力机房一隅。贡俊祺 摄影
“传统的风冷已经‘吹’不凉这些庞然大物了。”陆翰涛介绍道,当AI训练集群将功率密度推至20千瓦以上,相当于把10台家用电暖器塞进一个冰箱大小的机柜同时烤火,产生的热量不到1小时就能把一整浴缸的冷水彻底烧开。“在此量级的热量面前,仅靠风冷降温便捉襟见肘,芯片会因为过热而降频,性能大打折扣。”
为此,算力中心用上了“十八般武艺”。除了依托风冷系统快速带走机房空气中的热量,以及在极端高温下启动水喷淋和压缩机辅助外,算力中心也正全面铺开一项全新技术——液冷系统。
“通俗讲,液冷就是利用液体替代空气作为冷却介质,通过液体的循环流动直接贴近芯片集中发热的区域,将其产生的热量精准带走。” 陆翰涛解释道。
记者了解到,如果芯片局部过热问题难以解决,还会让PUE(电能利用效率)急剧攀升。这意味着,每当有1度电要用于核心计算,就需要额外再消耗电来用于散热,这显然无法适配当前高密算力的需求。
而与传统风冷相比,液冷系统的热交换效率提升了3至5倍。陆翰涛表示,目前算力中心液冷机房的PUE最低可降至1.08,更接近理论极限值1,这意味着电能几乎可以全部用在计算的“刀刃”上!
当好设备“把脉人”
室外高温与室内服务器满载运行产生的巨大发热量,给机房维稳带来了严峻的挑战。此时,陆翰涛所在的运维团队化身成算力中心的设备“把脉人”。
图为陆翰涛在检查风冷系统设备。贡俊祺 摄影
他告诉记者,团队实行7*24小时轮班制,无缝衔接。每次巡检三人一组,确保每栋机楼随时有人响应各种突发情况。
而比起巡检时不停歇的脚步,更磨人的是时刻紧绷的神经。时间久了,陆翰涛总结出一套如“老中医”般的“独门心法”——望、闻、听。
“机房里哪怕有一丝异响或异味,都可能意味着险情。这些信号稍纵即逝,抓住了就能避免一场大事故。”巡检时,陆翰涛的脚步很轻,感官却异常敏锐:用眼睛观察指示灯有无异常跳变,查验电池是否有鼓胀变形;用鼻子闻空气中极其微弱的焦糊味,防范电路板短路;仔细听机房设备是否发出异样的“喘振”声,警惕发生机械故障。“巡检一定要不留死角、不漏隐患。”他说。
除了日常巡检,线上数据的实时监控同样需要时刻紧盯。来到算力中心的控制中心,大屏上机房PUE、设备温度、业务负载等核心指标实时滚动。
“大模型训练究竟有多火热,用电量会给出最直观的答案。” 陆翰涛举例道,“当一个原本负载100安培的供电设备,突然猛增到500安培,我就知道一项模型训练任务正在执行。”
“小到每一次负载的微小波动,大到整个算力集群的能耗调度,我们都要一一排查、认真分析。” 陆翰涛说。
应急预案化作肌肉记忆
夏季用电负荷量本就高,而比高温更令人提心吊胆的,就是极端情况下可能发生的供电中断。
“算力中心绝不允许断电,哪怕只有一秒。” 陆翰涛深知,大模型训练对电力连续性要求极高,一旦停机就可能造成巨大损失,而应急处置的窗口期往往是毫秒级,考验的是运维人员条件反射般的熟练和冷静。
夏季多雨水。若得知气象预报有雨,陆翰涛会提前半小时到岗,迅速组织团队开展雨天故障模拟演练,将渗水、供电波动的应急预案化作每个人的肌肉记忆。
为了做到万无一失,每个月他们要耐着高温进行两次严苛的柴油发电机应急试机。
记者随行进入到半开放式的柴油发电机房,发电机便安置在内部的封闭集装箱中。推门而入,狭小的空间宛如密不透风的‘大蒸笼’,热浪扑面而来,体感温度已超过45℃。
而陆翰涛和同事则熟练地一头扎进这聒耳轰鸣且满是刺鼻气味的狭小空间,死死盯紧油压、转速和频率,汗水在几分钟内就湿透了他们的工作服。
陆翰涛和其他运维人员在集装箱中测试柴油发电机。贡俊祺摄影
“一旦外电突发中断,蓄电池只能提供大约15分钟的缓冲时间,在此期间柴油发电机房会自动切换启用。”但是,为确保万无一失,人工核查必不可少。运维人员必须像百米冲刺一般顶着巨大心理压力,迅速且零失误地完成跑位,核查每一处操作是否已经生效。“这就是和时间赛跑,动作不仅要快,更要百分之百的精准完美。”陆翰涛说。
用“绣花功夫”节能降耗
高强度的集中运算必然伴随急剧攀升的能耗。除了守护设备安全,陆翰涛还有一项需要精打细算的“绣花功夫”——节能降耗。
“园区运维成本中,电费占比最高。”他笑着拍了拍机房的密封门,“这里的单楼用电量最高可以达到28兆瓦,相当于10多座大型购物中心同时全开的耗电量,“你让冷气跑出去一秒钟,机器就得‘多喘几口气’。”
为此,除了要求人员进出必须随手关门,每年盛夏前夕,陆翰涛和团队还会打响“高温防御战”,对所有基础设备进行彻底的深度维保和清洗,确保每一个制冷“细胞”达到最高效率。
在这座昼夜不息的“算力堡垒”里,守护没有完成时,只有进行时。
极速算力的稳定输出,从来都不是理所当然。在那些肉眼看不见的海量数据洪流背后,正是像陆翰涛这样的数字时代守护者们,用汗水、细致与极致的专业为火热的算力时代筑起一道坚不可摧的防线。
头图为陆翰涛在电力机房巡检。贡俊祺 摄影


