增性学习是一种新的学习策略,它与传统的增量学习不同,增量学习关注样本数量的增加,而增性学习考虑逐步引进输入输出的特征属性,通过分析,再以筛选、排序或分组的方式排除属性干扰,以增强学习效能。增性学习尤其适用于解决输入输出特征属性不完整、需逐步获知或需逐个引入的问题,这已获相关实验的验证。增性学习可应用于NN,GA等常规智能算法,取得比常规方法更好的结果,但其相关的理论体系尚缺,有待建立。本项目旨在寻找和分析对增性学习有影响的相关因素,并将其与增性学习的预处理、学习模式和算法等研究结合起来,建立和完善理论框架,并通过相关智能算法进行验证,建立其相关的应用模式,最后通过个性化服务、偏好挖掘等实际应用给出相应的评估。开展增性学习的研究可提升常规机器学习方法的正确率,进而解决目前悬而未决的问题或提供现有问题的更优解法。由于智能算法已广泛被应用, 本计划的成果有助我国智能技术升级,产生巨大商业利益。
Attributes (features);incremental attribute learning;neural networks;genetic algorithms;particle swarm optimization
增性学习是一种逐步将特征属性导入到预测模型中的机器学习训练方法。这是一种“分而治之”的机器学习策略,它不同于以往常规的一次性导入所有特征属性的学习方式。在增性学习过程中,预测模型将每次导入一个或多个特征属性,以此对训练集进行训练。并且,后一次的训练将建立在前一次训练结果的基础上,使结果精益求精。本项目经过3年的科研,建立了增性学习相关的理论架构,推导了特征属性的相关度量,并开发了特征属性的予处理,排序与分组,并证实了增性学习这种学习策略可以通过神经网络(Neural Networks,NNs)、遗传算法(Genetic Algorithms,GAs)、以及粒子群优化(Particle Swarm Optimization,PSO)等智能计算方法成功地运用在模式分类(Pattern Classification)、回归计算(Regression)及时序问题方面,并取得了良好的效果。与传统的机器学习类似,增性学习可以通过恰当的数据预处理(Data Preprocessing)工作来提高其精确性。我们的研究发现,恰当的预处理工作可以有效地提高增性学习的效果。比如,特征选择(Feature Selection)不仅可以提高模式分类的正确率,而且可以有效减小计算规模,缩短训练时间。然而,由于增性学习是逐步把输入特征属性引进预测器的,因此,除传统数据预处理过程外,它也有其独特的预处理方法。比如,为了决定哪个特征属性应该先被导入,哪个应后被导入,增性学习需要特征排序(Feature Ordering)预处理;增性学习可以一次导入一个或多个特征属性,因此,哪些特征属性放在一起不会互相干扰需要用特征分组(Feature Grouping)来处理。特征排序和特征分组是不同于传统数据预处理的预处理方法,是增性学习所独有的。本项目首先回顾了增性学习,以及现有的增性学习预处理过程;主要开发了特征排序预处理方法和过程,探讨了分类问题的特征排序及分组的几种不同的方法;并对各种不同的特征排序及分组方法进行比较。探讨了分类与回归问题的增性学习特征排序方法;也讨论了同时使用特征排序和特征选择方法;并探讨时序性问题的特征排序。