表现力是高质量图像的灵魂,它反映了该图像满足人们对感知其主体内容所要求的色彩、对比度以及构图等视觉特征分布的能力,通过图像自动优化重构提高图像的表现力是一个新的研究课题。针对图像表现力与人类视觉感知密切相关的特点,首先,基于眼动跟踪进行人类视觉系统的感知先验学习,在此基础上构造并实现基于感知先验的图像主体内容分析算法,然后通过有标注的高表现力图像进行构图学习,最后,提取反应图像主体内容的视觉要素,构造一个基于视觉要素保持与构图优化的视觉信息最大化框架模型,实现图像的自动优化重构。本项目将为媒体出版、网上冲印、电子商务、移动终端应用以及图像摘要显示等领域的应用提供理论成果、算法基础和实现技术,具有重要的研究价值和应用意义。
Image expressive force;Visual Perception Prior Learning;Image Main Components Analysis;Photo Composition Geometric Learning;Optimal Image Reconstruction
中文摘要(对项目的背景、主要研究内容、重要结果、关键数据及其科学意义等做简单概述,1000字以内) 通过自动优化重构提高图像的表现力在计算摄影学领域一直是一个有趣而有挑战性的问题。针对图像自动优化重构这一课题,项目组主要进行了视觉感知先验学习、图像主体内容分析、构图几何学习以及图像自动优化重构等四个方面的内容。(1)视觉感知先验学习方面,通过采集眼动跟踪标注数据对颜色、对比度、亮度等的感知先验进行了学习,项目组提出了随机几何先验森林算法,实现了更为准确和鲁棒的画面解析。项目组研发了新的三维视线估计系统,通过对人脸、人眼、屏幕的三维建模,实现对视觉关注过程的参数化,并通过在线定标获得模型参数,性能明显优于现有方法。(2)图像主体内容分析方面,提出通过半监督节点分裂算法构造随机森林思想,解决了利用少量样本进行随机森林训练的问题。进一步地,提出了基于最近邻标签传递策略的弱监督分割方法用于图像中多类目标分割,使得训练数据标注工作量进一步降低。此外,项目组提出的半监督耦合字典学习方法,使我们对不同角度相同目标的查询变得容易。(3)构图几何学习方面,对高得分构图照片,基于图表达对构图几何进行学习,提出了面向视觉场景分类的高区分度Graphlet特征发掘,获得了不同场景的典型结构分布。提出了基于blocklet稀疏编码的建筑物类型识别,对历史古建筑的框架风格进行了学习,从而找出建筑物最有表现力的部分。最后提出了基于概率graphlet割的弱监督图像分割,实现了一种新的图像的语义分割方法。(4)图像自动优化重构,首先提出了基于亮通道先验的图像曝光矫正以及基于L1范式平滑的图像色调稳定。另外,结合构图几何约束和视觉要素表现力最大化需要,先后提出了基于概率Graphlet迁移的照片裁剪算法和基于弱监督的照片裁剪算法,实现的原始照片的构图优化。最后,提出了一个旅游照人-景构图推荐算法,实现站位的动态实时推荐。综上,本项目共发表论文35篇,其中SCI检索23篇,EI检索19篇,包括IEEE TIP、CVPR等CCF A类论文12篇。授权国家发明专利2项、软件著作权1项,获得2014年浙江省科技进步一等奖1项。这些研究成果解决了图像优化重构应用的核心问题,体现了较高的理论和应用价值。