当前人工智能训练的一大难题,是计算资源使用效率不高。传统训练往往采取统一策略,不管模型对某类问题掌握得好不好,都投入同样的算力,结果是简单任务被反复训练、复杂问题却学得不够,造成双重浪费。研究者将其形容为“无差别填鸭式教学”:不仅带来约30%的冗余计算开销,也限制了模型性能的深入提升。
从“同等用力”到“因材施教”,训练方法的变化也折射出大模型发展的新逻辑:算力不再只是规模叠加,更关键的是如何分配得更准确、策略更匹配。把学习集中在“最容易学到、也最值得学”的区间——既提高了资源利用效率——也让能力提升更可解释、更可规划。随着对应的理论和工程实践持续完善,更高效、更可靠的模型训练体系有望加速成熟。