Suppr超能文献

深度学习在图像重建中的不稳定性及人工智能的潜在代价

On instabilities of deep learning in image reconstruction and the potential costs of AI.

机构信息

Department of Mathematics, University of Oslo, 0316 Oslo, Norway.

Instituto de Telecomunicações, Faculdade de Ciências, Universidade do Porto, Porto 4169-007, Portugal.

出版信息

Proc Natl Acad Sci U S A. 2020 Dec 1;117(48):30088-30095. doi: 10.1073/pnas.1907377117. Epub 2020 May 11.

Abstract

Deep learning, due to its unprecedented success in tasks such as image classification, has emerged as a new tool in image reconstruction with potential to change the field. In this paper, we demonstrate a crucial phenomenon: Deep learning typically yields unstable methods for image reconstruction. The instabilities usually occur in several forms: 1) Certain tiny, almost undetectable perturbations, both in the image and sampling domain, may result in severe artefacts in the reconstruction; 2) a small structural change, for example, a tumor, may not be captured in the reconstructed image; and 3) (a counterintuitive type of instability) more samples may yield poorer performance. Our stability test with algorithms and easy-to-use software detects the instability phenomena. The test is aimed at researchers, to test their networks for instabilities, and for government agencies, such as the Food and Drug Administration (FDA), to secure safe use of deep learning methods.

摘要

深度学习在图像分类等任务中取得了前所未有的成功,它已经成为图像重建的一种新工具,有可能改变这个领域。在本文中,我们展示了一个关键现象:深度学习通常会产生图像重建不稳定的方法。这些不稳定性通常以几种形式出现:1)图像和采样域中某些微小的、几乎难以察觉的扰动,可能会导致重建中出现严重的伪影;2)小的结构变化,例如肿瘤,可能不会被重建图像捕捉到;3)(一种反直觉的不稳定性类型)更多的样本可能会导致性能下降。我们使用算法和易于使用的软件进行的稳定性测试检测到了这些不稳定性现象。该测试旨在供研究人员测试他们的网络是否存在不稳定性,以及供政府机构(如食品和药物管理局(FDA))确保深度学习方法的安全使用。

相似文献

1
深度学习在图像重建中的不稳定性及人工智能的潜在代价
Proc Natl Acad Sci U S A. 2020 Dec 1;117(48):30088-30095. doi: 10.1073/pnas.1907377117. Epub 2020 May 11.
2
稳定深度断层扫描重建:A部分。混合框架与实验结果。
Patterns (N Y). 2022 Apr 6;3(5):100474. doi: 10.1016/j.patter.2022.100474. eCollection 2022 May 13.
3
使用深度神经网络解决逆问题——包括鲁棒性吗?
IEEE Trans Pattern Anal Mach Intell. 2023 Jan;45(1):1119-1134. doi: 10.1109/TPAMI.2022.3148324. Epub 2022 Dec 5.
5
无透镜显微镜图像重建的反问题方法和深度学习的交替。
Sci Rep. 2020 Nov 19;10(1):20207. doi: 10.1038/s41598-020-76411-9.
6
基于域变换流形学习的图像重建。
Nature. 2018 Mar 21;555(7697):487-492. doi: 10.1038/nature25988.
7
学习感知原始图像重建的深度图像压缩器。
IEEE Trans Pattern Anal Mach Intell. 2020 Apr;42(4):1013-1019. doi: 10.1109/TPAMI.2019.2903062. Epub 2019 Mar 4.
8
DAGAN:用于快速压缩感知 MRI 重建的深度去混淆生成对抗网络。
IEEE Trans Med Imaging. 2018 Jun;37(6):1310-1321. doi: 10.1109/TMI.2017.2785879.
9
用于计算机断层扫描图像重建的计算效率高的深度神经网络。
Med Phys. 2019 Nov;46(11):4763-4776. doi: 10.1002/mp.13627. Epub 2019 Sep 21.
10
[图像分析中的人工智能——基础与新进展]
Hautarzt. 2020 Sep;71(9):660-668. doi: 10.1007/s00105-020-04663-7.

引用本文的文献

1
医学中的人工智能:当前在心脏病学、肿瘤学和放射学中的应用。
World J Methodol. 2025 Dec 20;15(4):106854. doi: 10.5662/wjm.v15.i4.106854.
3
对大型扩散加权和结构磁共振成像数据集处理的可扩展质量控制
PLoS One. 2025 Aug 1;20(8):e0327388. doi: 10.1371/journal.pone.0327388. eCollection 2025.
5
肝脏和胰胆管的快速磁共振成像技术:概述与应用
J Korean Soc Radiol. 2025 May;86(3):307-320. doi: 10.3348/jksr.2025.0004. Epub 2025 May 19.
6
基于深度学习的心血管磁共振加速功能评估
Radiol Med. 2025 May 17. doi: 10.1007/s11547-025-02019-6.
7
理解斑点、漩涡和阴影:明场光学显微镜中无标记逆成像的方法。
Biophys Rev. 2025 Mar 18;17(2):335-345. doi: 10.1007/s12551-025-01301-1. eCollection 2025 Apr.
8
科学研究中使用人工智能的伦理问题:新工具需要新指南。
AI Ethics. 2025 Apr;5(2):1499-1521. doi: 10.1007/s43681-024-00493-8. Epub 2024 May 27.
9
基于深度学习的重建对颈部对比增强磁共振成像(MRI)加速扫描质量的影响
Korean J Radiol. 2025 May;26(5):446-445. doi: 10.3348/kjr.2024.1059.
10
多模态图像翻译的信息论分析
IEEE Trans Med Imaging. 2025 Aug;44(8):3210-3221. doi: 10.1109/TMI.2025.3559823.

本文引用的文献

1
基于深度密度先验的磁共振图像重建。
IEEE Trans Med Imaging. 2019 Jul;38(7):1633-1642. doi: 10.1109/TMI.2018.2887072. Epub 2018 Dec 17.
2
基于 CNN 的投影梯度下降法用于一致的 CT 图像重建。
IEEE Trans Med Imaging. 2018 Jun;37(6):1440-1453. doi: 10.1109/TMI.2018.2832656.
3
DAGAN:用于快速压缩感知 MRI 重建的深度去混淆生成对抗网络。
IEEE Trans Med Imaging. 2018 Jun;37(6):1310-1321. doi: 10.1109/TMI.2017.2785879.
4
基于域变换流形学习的图像重建。
Nature. 2018 Mar 21;555(7697):487-492. doi: 10.1038/nature25988.
5
学习用于加速 MRI 数据重建的变分网络。
Magn Reson Med. 2018 Jun;79(6):3055-3071. doi: 10.1002/mrm.26977. Epub 2017 Nov 8.
6
基于深度卷积神经网络的医学影像反问题研究
IEEE Trans Image Process. 2017 Sep;26(9):4509-4522. doi: 10.1109/TIP.2017.2713099. Epub 2017 Jun 15.
7
深度学习。
Nature. 2015 May 28;521(7553):436-44. doi: 10.1038/nature14539.
8
压缩荧光显微镜用于生物和高光谱成像。
Proc Natl Acad Sci U S A. 2012 Jun 26;109(26):E1679-87. doi: 10.1073/pnas.1119511109. Epub 2012 Jun 11.

文献AI研究员

20分钟写一篇综述,助力文献阅读效率提升50倍。

立即体验

用中文搜PubMed

大模型驱动的PubMed中文搜索引擎

马上搜索

文档翻译

学术文献翻译模型,支持多种主流文档格式。

立即体验