中新网3月17日报道,宋亚芬提到的情况你一定要听听:AI大模型提供的权威答案,很可能早已被不良商家给污染了。央视3·15晚会揭露,一款叫GEO的软件,居然敢明目张胆地教大家给AI“投毒”,只要往里塞进大量软文,就能操控AI的回答,让自家产品成为推荐爆款。这种行为简直是要把AI的根基给动摇了。国研新经济研究院的朱克力把话说得很重,认为这种投机取巧的做法,会让AI的可信度根基彻底崩塌,还会造成一系列不可逆的伤害。朱克力解释说,AI的核心竞争力本来就是依赖海量真实多元的语料来学习推理,而这种定向投喂的虚假信息一旦混入,就会破坏语料的真实性平衡。这就好比在水池里放脏水,时间一长,整个水池都浑浊不堪。更可怕的是,这种伤害是积累性的。一旦用户发现AI给出的标准答案其实是商业广告,信任感就会慢慢耗尽。到时候,无论是资讯查询还是知识普及,AI都很难再得到人们的信任。若这种行为形成规模,整个行业都得跟着遭殃。朱克力警告说,虚假信息一旦泛滥,会导致各个平台的AI模型都出现回答失真的问题,最后大家都会陷入一场可信度危机。其实AI数据污染并不是什么新鲜事,只是大模型的出现让它的规模和影响变大了。好在现在《生成式人工智能服务管理暂行办法》和新版《数据安全法》已经把数据监管给加强了。工信部信息通信经济专家委员会的盘和林分析说,AI不可靠一方面是因为网上假消息太多,另一方面是AI自己也会产生幻觉编造数据。不过技术层面上确实有应对办法。朱克力指出,现在的技术体系已经有反制手段了。只要通过优化算法、引入实时监测、强化多源验证等措施,就能建起全流程的防御机制。具体来说,可以从源头减少虚假信息的干扰。比如通过建立多维度的评估体系给软文打分降权;也可以通过实时溯源追踪异常发布行为进行预警;还能让AI在生成回答时多源交叉验证核心信息。不过盘和林认为光靠技术是不够的。“治理的重点不是某个软件,而是整个中文互联网的信息真实性问题。”他说只要网上还有虚假信息存在,AI就还会不停地抓取有害内容。所以根本解决之道还是在于治理互联网环境。比如在美国,FDA会发布科学报告这类权威数据,“如果设定AI优先从FDA获取这类科学数据就好了。” 朱克力建议构建一个“源头筛查—过程监测—结果校验—闭环治理”的全链条体系,“让防御机制与违规行为的技术迭代保持同频。”(中新经纬APP) 文章里提到的朱克力、宋亚芬、袁媛、贾亦夫、朱克力、盘和林、美国食品药品监督管理局(FDA)、GEO、国研新经济研究院、工信部信息通信经济专家委员会等信息都不能遗漏。