针对带标签训练样本不足,典型卷积神经网络卷积核由经验设置,网络结构固定不变难以后期再学习的问题,基于稀疏自编码器(sparse autoencoder,SAE)和卷积神经网络(convolutional neural network,CNN),提出新的CNN模型。该模型将部分原始样本输入SAE模型进行训练以得到低维特征表示,并将该低维特征表示作为CNN的卷积核的初始值,不仅可以很好地克服带标签训练数据样本不足的问题,还可以提取有效特征以加速网络收敛;并且在典型CNN结构基础上增加一条网络支路,先使用所有训练样本训练典型CNN结构,再使用大部分训练样本训练支路结构,最后使用其余少部分样本进行后续再学习并只更新支路权值以增强因特征不明显而容易误判的样本的特征,从而使得整个网络记忆已有特征的同时增加新特征。文中模型在MNIST数据集上迭代更新10次网络权值可以使测试识别率达到97.65%;在手写汉字数据集HCL2000中的简单字、中等字、复杂字及相似字上的测试正确率能达93%以上;50个训练样本、250个测试样本时,相似字识别率可达80.36%,比典型CNN及传统手写汉字识别方法更具泛化性。实验表明所提方法可有效应用于手写字等图像识别应用中。