以支持向量机为代表的核方法在机器学习和统计中得到了广泛应用。核机器的表现性能极大的依赖于核函数的选择。针对此问题,近年来出现了许多多核学习方法。然而,对于多核学习至今仍没有完善的理论依据。本文着重研究一类基于凸的正则化项的多核学习算法。首先,深入研究局部复杂度概念以改进已有的泛化界的结果,这使得我们能够比较不同正则化的泛化能力;其次,研究多核背景下的逼近误差,阐明它与单核比较所具有的独特优势;最后,具体研究 L^p-Multiple Kernel Learning 算法的Oracle 不等式以及核系数的软稀疏性,以寻找能表示目标函数的数目相对少的核类。本项目的研究为多核学习算法的适用范围和新多核算法的设计提供充分的理论支持。
Approximation error;Statistical learning theory;Machine learning;Multiple kernel learning;Regularization
机器学习是解决大数据的强有力工具,而再生核方法在机器学习和统计中得到了广泛应用。核机器的表现性能极大的依赖于核函数的选择。针对此问题,近年来出现了许多多核学习方法。然而,对于多核学习至今仍没有完善的理论依据。本文着重研究一类基于凸的正则化项的多核学习算法。首先,深入研究局部复杂度概念以改进已有的泛化界的结果,我的假设条件更与现实相符;其次,研究多核背景下的逼近误差,阐明它与单核比较所具有的独特优势;最后,通过迭代的方式构造核空间,使得我们的算法能捕捉更复杂的数据结构。本项目的研究为多核学习算法的适用范围和新多核算法的设计提供充分的理论支持。主要科研成果可以通过我们的2篇SCI收录的学术论文与一篇在国内核心期刊接收的论文来体现。