导读 本周发表在Nature Communications 上的一项研究旨在调查对抗性图像是否可以欺骗为诊断乳腺癌而开发的人工智能模型。匹兹堡大学的研究人员
本周发表在Nature Communications 上的一项研究旨在调查对抗性图像是否可以欺骗为诊断乳腺癌而开发的人工智能模型。
匹兹堡大学的研究人员能够模拟一种伪造乳房 X 线照片的攻击，导致模型和人类专家得出错误的结论。
“我们想通过这项研究表明，这种类型的攻击是可能的，它可能导致 AI 模型做出错误的诊断——这是一个很大的患者安全问题，”资深作者、放射学副教授山东吴说，皮特大学的生物医学信息学和生物工程，在一份声明中。
“通过了解人工智能模型在医学环境中的对抗性攻击下的表现，我们可以开始思考如何使这些模型更安全、更健壮，”吴说。
为什么重要
研究人员观察到，深度学习模型越来越依赖于诊断能力来增强人类专业知识。
为此，他们写道：“必须为临床部署构建值得信赖、可靠和安全的 AI 系统。”
衡量这种安全性的一种方法是评估 AI 模型在面临网络攻击时的行为——即“对抗性图像”，旨在通过使用调整后的图像或其他输入来欺骗模型。
在他们的研究中，Pitt 团队使用乳房 X 光照片来训练算法来区分乳腺癌阳性病例和阴性病例。
接下来，研究人员开发了生成器，通过将癌变区域“插入”到负图像或从正图像中“删除”区域来故意制造误导性数据。
技巧奏效了：该模型被 69.1% 的假图像愚弄了。
研究人员随后招募了五名人类放射科医生来确定图像是真还是假。结果各不相同：专家在识别图像真实性方面的准确率从 29% 到 71% 不等，具体取决于人。