最近，埃隆·马斯克在社交平台上点名表扬了中国人工智能公司Moonshot AI，这家公司的Kimi团队弄出了一项特别牛的技术，叫“注意力残差”。马斯克都说这工作令人印象深刻。这个项目是由陈广宇、张宇和苏剑林一起完成的，大家的贡献都差不多。陈广宇是个17岁的高中生，现在还在读深圳的一所国际学校。他觉得外界应该多关注技术本身，别总盯着个人热点。陈广宇之前自学了很多经典论文，还跟着开源项目玩，后来又去硅谷AI初创公司实习。去年11月他加入了Kimi团队，现在在里面做机器学习研究员。他以前还拿过美国计算机奥林匹克竞赛铂金组的名次。张宇是Kimi高效模型架构的重要研究者，苏剑林则是大模型旋转位置编码（RoPE）方法的提出者。这个“注意力残差”技术是为了解决Transformer架构里信息传递的老毛病。传统的残差连接在模型层数变深的时候容易让关键信息被稀释掉，“注意力残差”让当前层能主动挑出前面层里重要的信息来用。这样做能提高大模型的能力，还不用拼命堆参数和算力。马斯克说他对Kimi的工作印象深刻。陈广宇还入选过罗德信托的高潜力未来领袖计划，去过美国顶尖小型实验室Tilde Research做过AI研究。现在的中国高中生已经能做前沿架构创新了，这真是个大新闻。大家都对这个年轻的天才刮目相看。宋世锋报道。