本项目的立项依据是基于我们最新的创新成果"利用脑功能响应优化视频分类的底层特征",提高视频分类正确率15%(全文发表在多媒体领域国际顶级学术会议ACM Multimedia 2010)。在此前期工作基础上,本项目首先深入研究利用脑功能响应特征指导和优化视觉计算的创新思路。提出了在自然刺激下采集fMRI脑成像数据的新方法,然后根据fMRI数据精确定位和构建脑功能网络,分析网络特性并挖掘出其中包含的脑功能响应特征,以机器学习方法作为手段实现脑功能特征对于视觉底层特征的指导和优化,提高视觉计算效果;其次,本项目将这个视觉计算的新方法应用于无人驾驶车辆视觉导航系统中,提出脑功能指导的视觉注意模型和目标识别模型,旨在提高导航技术的实时性、可靠性和鲁棒性。本项目采取国际合作研究方式,将对脑认知与机器视觉交叉科学领域作出贡献,符合重大研究计划"视听觉信息的认知计算"的总体科学目标,具有重要的应用价值。
Vision computing;fMRI-derived features;Visual attention computing;;
按照申请书计划,本项目围绕脑功能特征指导优化的视觉计算和视觉注意计算模型及在无人驾驶环境中的应用展开深入研究,提出了一系列新方法和新模型,成功建立了脑神经媒体组学,利用脑科学的先进技术解决了视觉领域的一些难点问题。主要取得的代表性工作包括1) 提出脑功能引导的视频检索模型;2) 提出脑功能引导的视频摘要模型;3) 提出利用大脑功能响应评价视觉特征性能;4) 提出基于背景先验的视觉显著性计算模型;5) 提出基于视觉显著性的遥感图像目标检测模型;6) 提出基于物体池的视觉注意计算模型,并用于图像中交通标志检测与识别。 本项目研究产生了一批高水平研究成果,发表(含录用)国际期刊论文29篇,国际会议论文7篇,其中二区以上论文14篇。获授权国家发明专利5项。培养博士后2名,博士研究生4名,硕士研究生8名。很好地完成了项目预期目标。