长期从事机器学习及影像处理基础理论及应用研究,建立了信息处理与内容感知相协同的智能分析框架。开展了聚类趋势、聚类分析和聚类有效性的集成研究,建立了仿生聚类模型;基于视觉信息的张量表示提出了半监督高斯隐变量降维模型;设计了基于多尺度几何分析的视觉信息质量评价体系,提出了全参考、部分参考和无参考型的图像质量评价方法;基于偏微分方程建立了影像空域分割的张量水平集模型;提出了无监督视频句法和语义双层分割方法和基于光流场和HMM的视频语义分析和检索框架。同时,将所建立的基于机器学习的多媒体内容分析框架应用于国家重大需求,如2010年广州亚运会和极地科学考察中,为信息产业及现代服务业中数字媒体内容平台的构建奠定了技术基础。发表SCI收录的论文69篇,SCI他引143次,其中 IEEE汇刊及CVPR、MM等国际会议论文20篇,获发明专利授权4项、软件著作权10项、陕西省科学技术一等奖1项(排名第一)。
Heterogeneous Facial Image Synthesis;Image Super-Resolution;Image Quality Assessment;Multimedia Processing;
现代公共安全体系中,多模态传感器的出现促进了物理世界和信息空间的高度融合,但由此出现的异质多媒体信息为后续处理与分析带来了相当难度。针对视频监控中画面分辨率低、目标信息缺失等问题,利用超分辨技术提高画面清晰度,利用人脸照片-画像合成技术实现目标的身份认证,并将两者统一为异质图像变换问题。此外,现有图像质量评价测度主客观一致性不高,基于人眼视觉的生理-心理学模型建立评价测度成为当前研究热点。本项目在上述异质人脸图像合成、图像超分辨重建和图像质量评价等方面取得一定成果。异质人脸图像合成方面,提出一种基于人脸幻象的异质图像合成与增强的两步框架,解决了现有方法因线性组合引起的图像模糊问题;提出一种基于直推式学习的画像-照片合成方法,改善了基于归纳式学习算法容易造成合成图像误差损失高的问题;综合对比分析了人脸画像-照片合成和人脸图像超分辨重建的异同,提炼出它们内在的数学模型,对两类问题建立了统一分析框架。图像超分辨重建方面,提出一种基于稀疏邻域嵌入的框架,解决了传统邻域嵌入方法近邻数目固定、重建效率低的问题;充分利用低分辨图像的局部结构信息和自相似结构信息,分别提出一种基于自适应稀疏表示和一种基于非局部均值和可控核回归相结合的图像超分辨重建方法;此外,还提出一种基于多尺度相似性学习的方法,无需借助外部训练图像,仍能获得良好的重建效果。图像质量评价方面,提出一种基于自然场景统计特性与稀疏表示相结合的无参考图像质量评价算法,改善了现有算法需要大量带有主观评价数据的训练样本以及跨数据库评价泛化能力差的问题;针对传统机器学习理论受限于网络层数少难以刻画高度非线性结构的问题,探索了图像质量的定性自然语言描述规则,建立了统一的图像质量评价深度学习模型。培养博士生10名,硕士生20名;发表与课题相关并标注本基金资助的学术论文共计101篇,其中国际知名期刊(IJCV, IEEE Trans.和Pattern Recognition)论文40篇,SCI检索56篇,主流国际会议论文31篇,其中CCF推荐的A类国际会议(ICCV、CVPR、IJCAI和ACM MM)论文8篇;获得国家发明专利授权27项;荣获陕西省科学技术一等奖2项(2012、2015年获奖已公示)、教育部自然科学奖二等奖1项(2013年)。此外,项目组入选2013年教育部长江学者创新团队、2014年科技部重点领域创新团队。