子空间分析在图像处理和模式识别中重要而应用广泛。现有子空间分析方法均假设训练数据和测试数据独立同分布。但实际情况中,训练样本和测试样本常来自不同领域,独立同分布的假设并不成立。因而现有方法对训练数据过拟合严重,而对测试样本的泛化能力急剧下降。为解决非独立同分布带来的问题,本项目把迁移学习(transfer learning)思想引入到子空间分析中。对概率子空间分析和常规(指基于似然函数最大化和基于鉴别信息保持的方法)子空间分析,本项目分别研究统一理论框架,使目标函数中体现训练数据的知识向测试数据知识的迁移,从而使子空间分析能最大程度地适应非独立同分布的情况(称为迁移性)。称其为迁移子空间分析。本项目还研究如何提高迁移子空间分析对离群点的鲁棒性,以及研究如何增强迁移子空间分析在特征提取阶段的实时性。总之,本项目旨在研究具有迁移性、鲁棒性和实时性的迁移子空间分析,促进其在图像处理和模识中应用。
subspace learning;dimensionality reduction;transfer leanring;pattern recognition;image processing
在子空间学习、迁移学习及其在视觉计算中的应用等方面发表论文92篇,其中SCI检索59篇,T-PAMI等IEEE汇刊论文39 篇,IJCV论文1篇,CVPR5篇在内的会议论文33 篇。在IEEE TNNLS汇刊上一篇迁移学习的综述已经Accepted with Minor Revision。项目总体主要科研成果1. 提出了基于Bregman dirvergence和迁移学习的潜在变量模型。基于潜在变量模型的子空间学习算法假设训练和测试样本满足独立同分布,故在训练集合上得到模型很难适用于测试集。为解决该问题,提出一种参数迁移学习的潜在变量模型,无需针对测试集合重新建立模型,而只需根据训练集和测试集之间的Bregman divergence进行参数调整即可得到潜在变量模型,使其适应于不同的数据集。2. 提出了基于迁移学习的行人检测。用不同场景数据集共享的相似分布,提出利用训练数据集中的数据来构建新场景中的行人检测模型。对训练场景中的错分样本和未知场景的错分样本采用不同的权重调整策略,得到具备迁移学习特性的行人检测。3. 提出基于随机游走的直推式半监督子空间方法。传统半监督方法在传播类别标签时,当无标签数据与有标签数据差异较大时会产生错误传播。为克服该问题,提出基于随机游走的直推式半监督子空间方法,用加权回归模型对随机游走得到虚拟标签进行编码,在随机游走时能够检测离群点,减少错误的标签传播。4. 提出基于截断核范数正则化的快速、准确的矩阵完整化方法。现有方法在从少数元素已知的信息中恢复大矩阵时,将问题表示成一个低秩逼近问题,用核范数作为凸松弛,需同时最小化所有奇异值,故在实际中难很好近似秩。为解决此,提出基于截断核范数的矩阵秩的逼近方法,用最大的若干个奇异值减去核范数。在此基础上,提出一种矩阵完整化方法,且提出了三种有效的迭代算法。5. 提出基于多模式的图像概率子空间表示模型。对高维数据,小样本问题严重。提出一种基于概率主成分分析模型的子空间学习。显式表示图像变换机制并且将其纳入模型的随机成分中。通过模型自动拟合可学习到最佳的变换。6. 提出了基于联合嵌入学习和稀疏回归的无监督特征选择机制。现有特征选择方法往往把嵌入学习和特征排序孤立开来,而本项目提出统一框架,提出方法同时进行嵌入学习和稀疏回归学习,能够最大程度地利用嵌入学习和回归学习的优点。