随着人工智能技术不断深入，模型参数规模已进入万亿级。支撑超大规模模型训练的GPU集群，也随之成为当今最复杂、也最容易出问题的计算基础设施之一。如何让数千张显卡长期稳定协同，正在成为制约大模型训练效率的重要瓶颈。Meta近日宣布开源其自研GPU集群监控工具包GCM，目标直指大规模训练中的硬件可靠性问题。这不仅提供了新的工程实践，也为高性能计算领域带来一套可借鉴的硬件管理思路。
大模型时代的竞争，不只是算法与数据之争，也是算力组织方式与可靠性治理能力之争；把“看得见的问题”变成“能提前发现的问题”，把“难以解释的波动”变成“可以归因的信号”，才能提高训练的确定性，减少试错成本。面向未来，围绕可观测、可诊断、可自动处置的基础设施能力建设，将成为支撑大规模智能计算更稳固的底座。