新浪科技讯 9月22日下午消息,在华为AIDC基础设施峰会上,商汤大装置智算中心总经理林海指出,随着AI进入Token规模化生产时代,AIDC的效率评价正在进一步转向AI业务价值产出,由传统的PUE衡量,转向TPW(Token Per Watt)——关注“投入的能源和成本最终产生多少Token”。

  林海指出,传统智算中心通常以PUE和算力规模作为重要指标,但PUE主要衡量供电、制冷等基础设施能效,“多少P”则更多反映算力设施的峰值性能,两者都难以直接反映智算中心最终产生的业务价值。在当前趋势下,商汤大装置将效率评价进一步延伸至TPW(Token Per Watt),尝试将底层能源投入与上层Token产出建立联系。

  围绕这一思路,商汤大装置将效率优化贯穿 Token 生产的多个环节,这几乎涉及到了人工智能完整的五层蛋糕里的所有产业,包括最底层的能源供给方电网/电厂,也包含IDC运营商、算力云运营商和大模型服务商。各层链路各有其关键指标,比如:在能源供给侧,关注电力来源、能源形式和单位电量成本;在基础设施侧,优化供电制冷架构;在服务器和芯片侧,围绕算子、显存、互联带宽及并行效率进行性能调优;在模型侧,提升推理吞吐和GPU利用率;在应用侧,则通过TPM规模化、推理优化、弹性调度和闲时算力等方式提升Token产出能力。

  这也意味着,AIDC效率优化不再是对某一个指标或单一环节的优化,而是从能源进入开始,一直延伸到最终Token产出。

  林海指出,单一环节的效率提升,并不必然带来整个链路效率的提升。围绕TPW这一全链路效率思路,商汤大装置进一步将能源、算力与Token产出数据打通,构建算电协同体系。

  据悉,通过这一全链路协同机制,商汤大装置算电协同实践实现了单位电力成本Token产出提升80%,IT有效容量产出提升60%,平均电费单价较同地区IDC降低约10%等显著成效。这也体现出,算电协同的价值不局限于降低某一项基础设施成本,而是通过多层数据协同,将不同环节的优化结果最终体现到Token业务产出上。