问题: 3月15日,央视315晚会揭露了"AI投毒"这一隐秘产业链。
调查发现,部分服务商通过技术手段操纵AI模型的输出结果,批量制造虚假测评、虚构排行榜,甚至捏造不存在的产品信息。
例如,一款名为"Apollo-9"的虚构智能手环在半天内就能出现在主流AI的列表中,其宣称的"量子纠缠传感"功能纯属子虚乌有。
原因: 这一现象的出现,与AI行业快速发展的背景密不可分。
随着AI技术逐渐成为用户消费决策的重要入口,黑灰产势力开始盯上这一领域。
杭州万悉科技创始人毛慧娜表示,GEO领域此前已出现过热现象,此次曝光是行业发展的必然结果。
行业研究机构负责人指出,AI模型的训练、检索和应用均依赖外部数据,一旦网络环境被污染,其影响将直接传导至AI产品。
影响: "AI投毒"不仅损害了消费者权益,也扰乱了市场秩序。
虚假信息的泛滥可能导致用户对AI技术的信任度下降,进而影响行业的长期发展。
目前,已有包括有赞、小裂变等多家机构发布声明,承诺不使用此类行为,但具体执行和规范程序仍有待观察。
对策: 专家认为,模型公司不应置身事外,而应积极参与治理。
GEO服务商索引未来的市场负责人任玉坤建议,平台需调整内容质量或索引方法,避免引用低质量文章。
模型公司可通过数据筛选、结果校验、来源标注、多源验证、异常识别等技术手段,提升对低质量信息的识别能力。
前景: 短期内,低质、依赖"投毒"的服务商将面临行业洗牌,相关治理和监管措施有望逐步完善。
长期来看,行业将更加重视真实、可靠、权威的信息源,推动AI技术健康有序发展。
信息投毒的本质,是利用技术变革窗口期对公共信息空间进行“掺假”。
越是新入口成为社会基础设施,越需要把规则与责任同步嵌入系统:平台要守住传播关口,模型企业要筑牢技术防线,服务商与品牌要回归诚信竞争。
唯有形成贯通数据、内容、模型与应用的协同治理,才能让新技术真正服务于更透明、更可靠的社会信息环境。