医学人工智能加速落地之际,“幻觉”“偏见”等风险如何筑牢安全边界

医学人工智能正处于快速发展阶段。

上海"十五五"规划明确将人工智能与生物医药列为先导产业,强调AI在医疗领域的深度应用。

国际市场上,被誉为"医生版ChatGPT"的医疗AI产品估值已超百亿元。

国内市场同样火热,科技巨头、药企、创新企业纷纷布局,医学AI工具已涵盖影像辅助诊断、临床决策支持、智能病理分析、手术介入、中医诊疗、药物研发等多个应用场景。

然而,医学AI的快速扩张也带来了不容忽视的风险隐患。

作为关乎生命健康的关键领域,医疗应用对AI的准确性、安全性和可靠性提出了极高要求。

当前,通用型医学AI工具存在的主要问题包括:其一,AI容易产生"幻觉"现象,即基于概率或文本匹配生成内容,缺乏医学的严谨性。

其二,算法存在偏见,AI捕捉网络信息时无法准确识别特定患者的个体差异和临床特征。

其三,数据安全和隐私保护面临挑战,患者信息的收集、存储、使用缺乏有效规范。

其四,伦理问题尚处灰色地带,产品评价标准不统一。

这些问题已在临床实践中造成实际危害。

上海爱尔眼科医院副院长李勇分享的案例表明,患者因听信AI关于"眼药水有副作用"的说法,在白内障手术后擅自停用抗炎眼药水,导致视力下降和角膜褶皱。

实际上,该患者应按临床指南在康复期内规范用药,AI的建议不应凌驾于医嘱之上。

复旦大学附属口腔医院院长蒋欣泉也指出,有患者将AI生成的健康建议误作诊断意见,因口腔黏膜不适通过AI自查后陷入恐慌,最终确诊仅为黏液性囊肿。

这类案例反映出患者对AI能力的过度信任,以及通用型AI工具在医学应用中的根本局限性。

医学AI的这些问题根源在于其设计理念与医学实践的不匹配。

通用型AI通过全网爬取和文本组合生成内容,知识库受搜索引擎限制,存在信息滞后。

口腔诊断、眼科诊疗等专科医学需要视诊、触诊、叩诊等多维度检查方法,而当前AI助手缺乏对患者个体特征的深入理解和个性化考量。

此外,医学AI产品在伦理审查、临床验证、安全评估等方面的标准体系尚不完善,产品间的比较评价困难,行业规范缺失。

面对这些挑战,业界已开始探索解决之道。

上海多家三甲医院正在研发专科化、个性化的医学AI工具,这类产品更"懂医学",能够持续更新知识库,准确识别患者问题意图。

复旦大学附属中山医院葛均波院士团队去年2月推出国内首个心血管专科医疗大模型测试版;仁济医院4月发布泌尿专科AI助手;上海首个"胃肠多模态医学AI"在去年11月亮相,其在复杂病例分析中的判断与治疗建议与专家团队总体相似,展现出专科AI的优势。

这些工具仍在持续测试和迭代,代表了医学AI应用的正确方向。

建立科学完备的规范与标准体系已成当务之急。

医学数据的规整化、质量检验、隐私保护需要统一标准;AI算法的偏见识别与纠正需要专业评估机制;产品的临床有效性验证需要严格的试验流程;伦理审查需要多学科参与。

同时,医学界需要加强对AI技术的理解和应用探索,为行业健康发展积累经验。

规范和标准的建立是一个长期过程,需要政府部门、医疗机构、科研单位、企业等多方协同推进。

医疗人工智能的快速发展既带来效率提升的希望,也引发对技术边界的深刻思考。

在生命健康这个不容试错的领域,任何技术创新都必须以安全可靠为前提。

当前亟需在鼓励创新与防范风险之间找到平衡点,让技术真正成为医者仁心仁术的延伸,而非替代。

这需要技术开发者保持敬畏之心,更需要全社会形成科学认知,共同守护医疗安全的底线。