• 文献检索
  • 文档翻译
  • 深度研究
  • 学术资讯
  • Suppr Zotero 插件Zotero 插件
  • 邀请有礼
  • 套餐&价格
  • 历史记录
应用&插件
Suppr Zotero 插件Zotero 插件浏览器插件Mac 客户端Windows 客户端微信小程序
定价
高级版会员购买积分包购买API积分包
服务
文献检索文档翻译深度研究API 文档MCP 服务
关于我们
关于 Suppr公司介绍联系我们用户协议隐私条款
关注我们

Suppr 超能文献

核心技术专利:CN118964589B侵权必究
粤ICP备2023148730 号-1Suppr @ 2026

文献检索

告别复杂PubMed语法,用中文像聊天一样搜索,搜遍4000万医学文献。AI智能推荐,让科研检索更轻松。

立即免费搜索

文件翻译

保留排版,准确专业,支持PDF/Word/PPT等文件格式,支持 12+语言互译。

免费翻译文档

深度研究

AI帮你快速写综述,25分钟生成高质量综述,智能提取关键信息,辅助科研写作。

立即免费体验

基于 CNN 的搜索模型未能通过简单的视觉特征来解释人类的注意力引导。

CNN-based search model fails to account for human attention guidance by simple visual features.

机构信息

Institute of Psychology, University of Tartu, Näituse 2, 50409, Tartu, Estonia.

出版信息

Atten Percept Psychophys. 2024 Jan;86(1):9-15. doi: 10.3758/s13414-023-02697-2. Epub 2023 Mar 28.

DOI:10.3758/s13414-023-02697-2
PMID:36977907
Abstract

Recently, Zhang et al. (Nature communications, 9(1), 3730, 2018) proposed an interesting model of attention guidance that uses visual features learnt by convolutional neural networks (CNNs) for object classification. I adapted this model for search experiments, with accuracy as the measure of performance. Simulation of our previously published feature and conjunction search experiments revealed that the CNN-based search model proposed by Zhang et al. considerably underestimates human attention guidance by simple visual features. Using target-distractor differences instead of target features for attention guidance or computing attention map at lower layers of the network could improve the performance. Still, the model fails to reproduce qualitative regularities of human visual search. The most likely explanation is that standard CNNs that are trained on image classification have not learnt medium- or high-level features required for human-like attention guidance.

摘要

最近,Zhang 等人(自然通讯,9(1),3730,2018)提出了一种有趣的注意力引导模型,该模型使用卷积神经网络(CNNs)学习的视觉特征进行目标分类。我将这个模型应用于搜索实验中,以准确性作为性能的衡量标准。我们之前发表的特征和联合搜索实验的模拟表明,Zhang 等人提出的基于 CNN 的搜索模型大大低估了简单视觉特征对人类注意力的引导。使用目标-干扰物差异而不是目标特征来引导注意力,或者在网络的较低层计算注意力图,可以提高性能。然而,该模型未能再现人类视觉搜索的定性规律。最有可能的解释是,在图像分类上训练的标准 CNN 尚未学习到用于人类般注意力引导的中高级特征。

相似文献

1
CNN-based search model fails to account for human attention guidance by simple visual features.基于 CNN 的搜索模型未能通过简单的视觉特征来解释人类的注意力引导。
Atten Percept Psychophys. 2024 Jan;86(1):9-15. doi: 10.3758/s13414-023-02697-2. Epub 2023 Mar 28.
2
A failure to learn object shape geometry: Implications for convolutional neural networks as plausible models of biological vision.未能学习物体形状几何:对卷积神经网络作为生物视觉合理模型的影响。
Vision Res. 2021 Dec;189:81-92. doi: 10.1016/j.visres.2021.09.004. Epub 2021 Oct 8.
3
CNN Attention Guidance for Improved Orthopedics Radiographic Fracture Classification.CNN 注意力引导在改善骨科 X 光骨折分类中的应用。
IEEE J Biomed Health Inform. 2022 Jul;26(7):3139-3150. doi: 10.1109/JBHI.2022.3152267. Epub 2022 Jul 1.
4
Transfer of Learning in the Convolutional Neural Networks on Classifying Geometric Shapes Based on Local or Global Invariants.基于局部或全局不变量的卷积神经网络在几何形状分类中的学习迁移
Front Comput Neurosci. 2021 Feb 19;15:637144. doi: 10.3389/fncom.2021.637144. eCollection 2021.
5
fMRI volume classification using a 3D convolutional neural network robust to shifted and scaled neuronal activations.使用对移位和缩放神经元激活具有鲁棒性的 3D 卷积神经网络进行 fMRI 体积分类。
Neuroimage. 2020 Dec;223:117328. doi: 10.1016/j.neuroimage.2020.117328. Epub 2020 Sep 5.
6
Transfer of Learning from Vision to Touch: A Hybrid Deep Convolutional Neural Network for Visuo-Tactile 3D Object Recognition.从视觉到触觉的迁移学习:用于视触 3D 物体识别的混合深度卷积神经网络。
Sensors (Basel). 2020 Dec 27;21(1):113. doi: 10.3390/s21010113.
7
Examining the Coding Strength of Object Identity and Nonidentity Features in Human Occipito-Temporal Cortex and Convolutional Neural Networks.检查人类枕颞叶皮层和卷积神经网络中对象身份和非身份特征的编码强度。
J Neurosci. 2021 May 12;41(19):4234-4252. doi: 10.1523/JNEUROSCI.1993-20.2021. Epub 2021 Mar 31.
8
Tensor-Based Emotional Category Classification via Visual Attention-Based Heterogeneous CNN Feature Fusion.基于张量的视觉注意力的情感类别分类 基于视觉注意力的异质 CNN 特征融合的情感类别分类
Sensors (Basel). 2020 Apr 10;20(7):2146. doi: 10.3390/s20072146.
9
Capacity Limitations of Visual Search in Deep Convolutional Neural Networks.深度卷积神经网络中视觉搜索的容量限制。
Neural Comput. 2022 Oct 7;34(11):2294-2308. doi: 10.1162/neco_a_01538.
10
A deep dive into understanding tumor foci classification using multiparametric MRI based on convolutional neural network.基于卷积神经网络,深入探究利用多参数磁共振成像进行肿瘤病灶分类。
Med Phys. 2020 Sep;47(9):4077-4086. doi: 10.1002/mp.14255. Epub 2020 Jun 12.

引用本文的文献

1
Could simplified stimuli change how the brain performs visual search tasks? A deep neural network study.简化刺激能否改变大脑执行视觉搜索任务的方式?一项深度神经网络研究。
J Vis. 2022 Jun 1;22(7):3. doi: 10.1167/jov.22.7.3.

本文引用的文献

1
Capacity Limitations of Visual Search in Deep Convolutional Neural Networks.深度卷积神经网络中视觉搜索的容量限制。
Neural Comput. 2022 Oct 7;34(11):2294-2308. doi: 10.1162/neco_a_01538.
2
Finding any Waldo with zero-shot invariant and efficient visual search.零样本不变且高效的视觉搜索中寻找任何 Waldo。
Nat Commun. 2018 Sep 13;9(1):3730. doi: 10.1038/s41467-018-06217-x.
3
Humans, but Not Deep Neural Networks, Often Miss Giant Targets in Scenes.人类,而非深度神经网络,常常会错过场景中的大目标。
Curr Biol. 2017 Sep 25;27(18):2827-2832.e3. doi: 10.1016/j.cub.2017.07.068. Epub 2017 Sep 7.
4
A Source for Feature-Based Attention in the Prefrontal Cortex.前额叶皮层中基于特征的注意力来源。
Neuron. 2015 Nov 18;88(4):832-44. doi: 10.1016/j.neuron.2015.10.001. Epub 2015 Nov 8.
5
Performance-optimized hierarchical models predict neural responses in higher visual cortex.性能优化的层次模型预测高级视觉皮层中的神经反应。
Proc Natl Acad Sci U S A. 2014 Jun 10;111(23):8619-24. doi: 10.1073/pnas.1403112111. Epub 2014 May 8.
6
The role of target-distractor relationships in guiding attention and the eyes in visual search.目标-干扰物关系在视觉搜索中引导注意和眼睛的作用。
J Exp Psychol Gen. 2010 May;139(2):247-65. doi: 10.1037/a0018808.
7
Search goal tunes visual features optimally.搜索目标可最佳地调整视觉特征。
Neuron. 2007 Feb 15;53(4):605-17. doi: 10.1016/j.neuron.2007.01.018.
8
What attributes guide the deployment of visual attention and how do they do it?哪些属性引导视觉注意力的部署,以及它们是如何做到的?
Nat Rev Neurosci. 2004 Jun;5(6):495-501. doi: 10.1038/nrn1411.
9
Statistics of natural image categories.自然图像类别的统计数据。
Network. 2003 Aug;14(3):391-412.
10
The spatial resolution of visual attention.视觉注意力的空间分辨率。
Cogn Psychol. 2001 Nov;43(3):171-216. doi: 10.1006/cogp.2001.0755.