警惕"信息污染"新形态 专家呼吁构建人工智能时代内容治理体系

互联网信息生态正面临新的挑战。继搜索引擎优化(SEO)之后,针对生成式AI系统的"生成式引擎优化"(GEO)黑灰产业应运而生。该新型乱象的出现,暴露了当前AI内容生产链条中存的结构性风险。 从问题表现看,GEO乱象的危害程度超越了传统互联网虚假广告。过去的网络虚假信息主要在"曝光位置"上做文章,用户仍能识别出"这是广告"。而当前的GEO操纵则从AI的"思维方式"入手,试图扭曲整个模型的信息生产逻辑。不法商家仅需支付少量费用,就能通过技术手段向大模型注入虚假信息,最终让AI以"总结建议""推荐答案""整理共识"等看似客观的形态,向用户推荐假冒伪劣产品。这种隐蔽性更强、欺骗性更大的操纵方式,使用户难以察觉。 从原因分析看,GEO乱象的产生根植于生成式AI系统的结构性漏洞。AI模型只能通过"引用来源""统计数据""表达流畅度"等标签来机械识别数据的可信度,这决定了其"信任机制"天然存在缺陷。研究数据表明,当训练数据集中仅含0.01%的虚假文本时,模型输出的有害内容就会增加11.2%;即使虚假文本比例低至0.001%,有害输出也会上升7.2%。这说明AI系统对数据污染的敏感度极高,极少量的虚假信息就能显著影响模型的输出质量。 从影响评估看,GEO乱象若任其蔓延,将对互联网内容生态造成严重破坏。大模型可能在被污染的数据"回音壁"中不断进行"再生产",导致虚假信息在AI系统中被反复强化和传播,最终形成劣质化的信息生态。这不仅威胁用户的知情权和消费权益,更可能动摇公众对AI技术的信任基础。 对此,需要采取多层次、全方位的应对措施。首先,模型企业应强化技术自律,建立健全数据真实性与可靠性的内部防线,通过技术手段识别和过滤虚假信息。其次,监管部门需要多层次发力。一上要尽快推进涉及的领域的立法工作,明确将"故意污染AI数据"定义为违法行为,建立明确的法律边界。另一方面要加大执法力度,显著提高违法"污染"的成本,形成有效的威慑力,遏制行业乱象蔓延。 从更深层的视角看,GEO乱象也给社会提出了一道新的"信息治理"课题。在信息爆炸时代,许多人已习惯将记忆任务交给搜索引擎,将判断思考能力交给机器。但当前的现实表明,AI检索、数据抓取、模型训练等环节并不如想象中那么可靠。用户不能轻信或过度依赖"一键AI"的结果,而应保持清醒的反思意识,掌握自己思考、认知、判断的主动权。这要求用户在享受AI便利的同时,培养更强的信息辨别能力和批判性思维。

真实是信任的基础,判断是选择的前提。随着生成式AI深入社会生活——"可信"应优先于效率——"可验证"应重于流畅。防范"AI污染"需要企业守底线、监管有力度、公众保持清醒——让技术真正服务公共利益,而非成为欺骗工具。