位置:成果数据库 > 期刊 > 期刊详情页
初始化卷积神经网络的主成分洗牌方法
  • ISSN号:0254-0037
  • 期刊名称:《北京工业大学学报》
  • 时间:0
  • 分类:TP391.4[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:北京工业大学计算机学院,北京100124
  • 相关基金:国家自然科学基金资助项目(61175004); 高等学校博士学科点专项科研基金资助项目(20121103110029); 中国博士后科学基金资助项目(2015M580952)
中文摘要:

为了更好地初始化卷积神经网络,提出了一种初始化卷积核的有效方法,称为主成分洗牌方法.该方法首先对第1个卷积层的每个输入特征图的所有感受野进行采样,再对采样得到的图像块按输入特征图分别进行主成分分析,利用主成分分析得到的投影矩阵初始化该层卷积核,最后按上述过程依次对各层卷积核进行初始化.使用该方法在MNIST与CIFAR-10数据集上进行卷积层初始化实验.实验结果表明:与目前常用的随机初始化算法、Xavier初始化算法相比,该方法在提高网络的训练速度和测试集正确率方面均具有优越性.

英文摘要:

To initialize convolutional neural networks better, an effective method named principal component analysis( PCA) Shuffling initialization was proposed. The method consisted of three steps.First,for the first convolutional layer,all receptive field of each feature map on training set was sampled.Then,principal component analysis of image patches separately for each feature map was conducted,and projection matrix was used to initialize filter of first convolutional layer. Finally,the first two steps on the other convolutional layers layer-wisely were performed. Experimental results on MNIST and CIFAR-10 dataset show that the proposed initialization has advantages of accuracy and speed of convergence compared to the common method such as random initialization and Xavier initialization.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《北京工业大学学报》
  • 中国科技核心期刊
  • 主管单位:北京市教委
  • 主办单位:北京工业大学
  • 主编:卢振洋
  • 地址:北京市朝阳区平乐园100号
  • 邮编:100124
  • 邮箱:xuebao@bjut.edu.cn
  • 电话:010-67392535
  • 国际标准刊号:ISSN:0254-0037
  • 国内统一刊号:ISSN:11-2286/T
  • 邮发代号:2-86
  • 获奖情况:
  • 中国高等学校自然科学学报优秀学报二等奖,北京市优秀期刊,华北5省市优秀期刊,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国数学评论(网络版),德国数学文摘,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:11924