中国人工智能产业发展联盟日前发布关于防范开源人工智能智能体安全风险的专项提示,这是该联盟针对当前智能体技术快速扩散背景下,面向产业界发出的一次系统性安全预警。
一、问题:七类风险隐患不容忽视 随着开源人工智能智能体技术的持续演进,其具备的持续自主运行、多模态内容读取与跨平台指令执行等能力,在带来效率提升的同时,也引入了一系列新型安全威胁。
联盟在提示中指出,提示词注入与指令劫持是当前最为突出的风险之一。
攻击者可借助文档、网页或交互内容植入恶意指令,绕过安全管控机制,诱导智能体在未经授权的情况下执行数据窃取、权限篡改乃至恶意代码运行等操作,严重时可导致关键数据外泄或主机沦为僵尸网络节点。
与此同时,大语言模型固有的"幻觉"问题使智能体在自主执行任务时存在决策偏差风险。
一旦出现指令理解错误或逻辑判断失当,可能引发核心生产数据损毁、业务系统配置被篡改等不可逆后果,对企业正常运营构成实质性威胁。
在开源生态层面,第三方插件与扩展组件来源复杂,大量未经安全审核的组件已被发现存在恶意代码植入或后门预留问题。
一旦加载此类违规组件,部署环境极易遭到非法控制,进而引发内网横向渗透或勒索病毒攻击等次生风险。
此外,已公开披露的多项高中危安全漏洞,叠加默认配置安全防护强度不足的问题,使得公网暴露实例、弱口令认证、高权限账户运行等不当配置行为成为攻击者的可乘之机,系统接管与全量数据泄露的风险不可低估。
联盟还特别提示,需警惕大模型内生安全风险与传统软件漏洞深度耦合所形成的复合型攻击。
这类攻击以传统漏洞为突破口,借助模型内生风险放大攻击影响,打破了传统安全与智能体安全之间的防护边界,单一防护体系难以形成有效闭环。
在合规层面,涉及个人信息处理、重要数据流转、自动化决策及跨境数据传输的应用场景,若未严格落实相关法律法规要求,将面临合规风险;使用第三方封装服务的,还可能因权责划分不清,在数据泄露后陷入追责难、维权难的困境。
跨境数据流转风险同样不可忽视,部分智能体应用可能被配置为自动调用境外模型接口或访问境外数据源,存在违反数据出境安全评估相关规定的隐患。
二、原因:技术扩散速度超前于安全治理能力 上述风险的集中显现,折射出当前人工智能技术快速扩散与安全治理能力相对滞后之间的结构性矛盾。
开源智能体技术门槛低、部署灵活,吸引了大量企业和个人用户快速跟进,但相当一部分使用者对其潜在安全风险缺乏系统认知,安全评估与管控机制尚未同步建立。
与此同时,开源生态的开放性在降低创新门槛的同时,也为恶意代码的传播提供了便利渠道,供应链安全问题日益凸显。
三、影响:波及范围广,潜在损失难以量化 从影响范围来看,上述风险不仅威胁企业自身的数据安全与业务连续性,还可能通过内网横向渗透波及上下游合作方,形成连锁反应。
对于涉及重要数据和个人信息的行业用户而言,一旦发生安全事件,不仅面临直接的经济损失,还将承担相应的法律责任与声誉风险。
四、对策:分场景防控,筑牢安全底线 针对上述风险,联盟结合当前主流应用模式,按本地部署、云上部署、第三方封装服务三大场景发布了专项安全防控指引,并明确了全场景通用基础安全要求。
联盟强调,企业应审慎评估真实使用需求,避免盲目跟风部署,对引入的第三方插件和扩展组件须在隔离环境完成代码审查和行为验证,建立"先评估、后使用,先测试、后上线"的全流程管控机制。
在使用边界方面,联盟明确要求,严禁在敏感及涉密信息处理环境、核心生产业务系统及内部核心涉密网络中开展任何形式的部署与接入,不得向相关工具开放核心商业秘密、重要数据及个人敏感信息的访问权限。
合规层面,企业须严格遵守网络安全法、数据安全法、个人信息保护法及生成式人工智能服务管理相关规定,坚守合规经营底线。
同时,应对智能体的运行行为、操作指令及数据流转开展全流程审计,日志留存时长不少于六个月,并建立健全异常行为监测与应急处置机制。
联盟表示,将持续跟踪相关安全风险动态,适时更新风险提示,并着手编制企业级开源智能体部署风险管理指南,为产业界提供更具操作性的安全参考。
此次安全警示折射出新技术应用中的共性课题:如何在开放创新与风险防控间寻求平衡。
随着人工智能深度融入经济社会,构建与之匹配的安全治理体系,将成为推动产业高质量发展的必答题。
这既需要技术层面的持续突破,更离不开制度设计的与时俱进。