(问题)大型语言模型正加速进入医疗、金融、公共管理等领域,如何评估其安全性成为关键课题;旧金山多家机构的研究团队在最近发布的论文中指出,当前的评测体系存在一个普遍问题:过度依赖总体指标如准确率、通过率等,导致少量但严重的异常输出被整体"好成绩"所掩盖。研究认为,这类低频但极端的失效一旦出现在关键环节,可能造成重大社会伤害,是亟待关注的风险。
人工智能是把双刃剑,其安全性直接关系到公共利益。SHARP框架提醒我们——在肯定AI整体能力的同时——更要警惕其潜在风险。从关注平均表现转向关注极端表现,这个简单的视角转变反映了AI治理思想的重要进步。只有建立更科学、更严格、更全面的评估体系,才能让人工智能真正成为造福人类的工具。这项研究为全球AI安全评估的完善提供了有益参考,值得业界推进。