问题——大模型能力提升正遇到“堆规模”和“提效率”的双重压力；当前主流大模型大多基于Transformer架构。近几年，产业界不断加大参数规模、数据规模和算力投入，带动生成式模型能力快速提升，但训练成本、能耗负担和部署门槛也随之走高。此外，一些影响效率与稳定性的结构细节并未被广泛讨论，例如层与层之间的信息传递方式长期较为固定，可能成为深入优化的瓶颈。
从残差连接到“注意力残差”——表面上是结构细节的调整——实质回应了大模型进入新阶段后的现实需求：在成本、能耗和应用约束下，用更高效的信息组织方式释放模型潜力。技术进步既依赖长期积累与严谨验证，也离不开团队协作与更开放的环境。让讨论回到方法、数据与可复现的结果，才能让每一次创新真正沉淀为科研与产业都能共享的增量。