支持向量机理论蕴藏着巨大的应用价值,对于大规模数据,建立高分类精度与低计算复杂度的支持向量机算法是当前计算智能研究的热点与难点之一。本项目拟以有理逼近理论为基础,利用有理函数逼近非光滑函数的独特有效性,对具非光滑函数的支持向量机光滑技术进行深入研究。即分别以Padé逼近、绝对值函数的有理逼近以及带形状参数的有理样条逼近为主要工具建立支持向量机的光滑技术,实现支持向量机高分类精度、低计算复杂度以及两者之间的可控性,从而建立新的基于有理逼近方法的支持向量机光滑理论和算法,并将其运用于其它相关问题。同时,借助有理逼近理论研究光滑支持向量机逼近能力与其分类性能之间的关系,建立光滑支持向量机收敛速度与误差估计的理论与方法,为构造高性能的支持向量机提供理论支撑。本项研究的完成不但为诸多实际问题的解决提供理论和方法,而且将发展和丰富支持向量机理论,进一步推动机器学习理论及交叉学科的发展。
support vector mcahine;rational approximation;learning machine;;
支持向量机是近年来计算智能领域非常重要的理论之一,具有重要的理论价值和应用价值,尤其对于大规模数据,相较于其它学习方法支持向量机具有高分类精度和低计算复杂度的优势。自1995年以来,关于支持向量机的理论、算法和实现等方面的研究已取得了丰硕的成果。其中,光滑支持向量机是该研究领域近年来出现的一类重要而又非常实用的方法。光滑支持向量机能够较好地满足分类器的三个评价标准高的分类精度、低的计算复杂度和好的模型简洁度,并在与其它方法的结合度上体现出独特的优势。在光滑支持向量机框架中,最关键的步骤就是将原始的非光滑的强凸无约束优化模型光滑化,将其转变成一个近似于原始问题的光滑强凸的无约束优化模型。本项目主要以有理逼近理论为基础,利用有理函数逼近非光滑函数的独特有效性,对具非光滑函数的支持向量机的光滑技术进行了深入的研究。分别以Padé逼近、绝对值函数的有理逼近以及带形状参数的有理样条逼近为主要工具建立了支持向量机的光滑技术,在一定程度上实现了支持向量机的高分类精度和低计算复杂度的要求,建立了新的基于有理逼近方法的支持向量机光滑理论和算法,并将其成功地运用于其它相关问题如回归问题、双支持向量机问题及异常点的阻抗问题等。同时本项目根据研究动态的变化,在三年的研究中增添了新的研究内容,例如利用研究数据本身结构化信息,提出并建立了结构化的双参数间隔支持向量机;通过数据的局部信息建立了基于局部信息的特征选择算法,并将其应用于回归机中;提出并研究了两个耦合复杂网络的延时同步问题及复杂动力学网络的双延时同步问题;利用前项神经网络同时逼近多元光滑函数及其导数,得到了以光滑模所表示的逼近误差上界;等。本项研究的完成为机器学习领域提供了一些新的理论和方法,发展和丰富了支持向量机理论,在一定程度上推动了机器学习理论及其相关学科的发展。