随着生成式AI技术的快速发展和广泛应用，虚假信息的制造和传播方式也不断演变。近期，部分网络账号利用AI技术生成合成内容——却未按规定添加相应标识——借虚构故事、虚假事件欺骗误导公众，严重破坏网络生态秩序。 问题表现多样且危害深远。据网信部门通报，违规账号主要存在五类典型问题。其一，部分账号发布AI生成的虚假视频时隐瞒技术来源，以狗救婴儿、鳄鱼伤人等虚构感人或猎奇事件恶意博取流量。其二，有账号利用AI换脸、声音克隆等技术冒充公众人物发布不实言论，或未经授权售卖AI生成的名人"送祝福"视频从中牟利，侵犯他人权益。其三，个别账号制造虚假火灾现场图片和视频，恶意编造炒作灾难事故，混淆视听扰乱公共秩序。其四，有账号利用AI技术魔改未成年人喜爱的动画角色，制作包含暴力、血腥、低俗内容的视频，对未成年人身心健康造成侵害。其五，部分商家甚至售卖去除AI标识的教程和软件，形成完整的违规产业链。 这些问题的根源在于部分网络参与者对AI技术的滥用。一上，AI生成内容具有高度逼真性，容易迷惑公众判断；另一方面，部分账号运营者为追求流量和经济利益，故意隐瞒AI身份，利用信息不对称进行欺骗。同时，去标识工具的存在继续降低了违规成本，形成了"制造—传播—牟利"的完整链条。 虚假AI信息的泛滥带来多重危害。对公众而言，虚假信息破坏信息环境，降低公众辨别能力，甚至引发社会恐慌。对企业而言，AI生成的虚假涉企信息可能造成商誉损害、竞争不公。对社会而言，虚假信息侵蚀网络生态，削弱公众对网络信息的信任度。 为遏制这个现象，网信部门采取了坚决行动。近期依法依约处置违规账号13421个，清理违法违规信息54.3万余条，涉及微博、快手、抖音、哔哩哔哩、微信、小红书等多个主流平台。同时，对售卖去标识工具的商家进行查处，下架违规商品，斩断利益链条。 上海市进一步升级治理力度。市委网信办会同市公安局网安总队即日起集中开展"整治AI涉企虚假不实信息"专项行动，重点针对利用AI技术生成传播涉企虚假不实信息问题，加强典型案例打击处置，力争实现"标本兼治、打防结合、净化生态"的整治效果。 展望未来，网信部门表示将对无AI标识的虚假不实信息保持高压严管态势，发现即处置。同时呼吁广大网络内容创作者主动添加AI标识，遵守有关规定，共同营造风清气正的网络环境。这既是对创作者的规范要求，也是对平台的监管期待。
真实的信息是公共信任的基础，规范标注是守住底线的关键。AI技术本身并非问题，关键在于如何使用。只有持续治理违规内容，推动平台、创作者和用户共同担责，才能让技术创新在阳光下发展，让网络空间更加清朗可信。