位置:成果数据库 > 期刊 > 期刊详情页
基于核特征的商品图像句子标注
  • ISSN号:1671-8844
  • 期刊名称:《武汉大学学报:工学版》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]武汉大学计算机学院,湖北武汉430072, [2]华东交通大学软件学院,江西南昌330013
  • 相关基金:国家自然科学基金重点项目(编号:61133012);教育部人文社会科学研究项目(编号:16YJAZH029);江西省科技厅科技攻关项目(编号:20142BBG70011、20121BBG70050);江西省高校人文社科基金项目(编号:XW1502,TQ1503);江西省社科规划项目(编号:16TQ02);江西省普通本科高校中青年教师发展计划访问学者专项资金;华东交通大学校立基金项目(编号:11RJ01).
中文摘要:

用单词标注图像会产生歧义或噪声,故采用句子标注商品图像,以准确刻画商品特性.现有商品图像句子标注方法存在特征学习不充分的问题,针对该问题,提出基于核特征模型抽取图像的形状、颜色和梯度3种核特征,并在多核学习模型内融合生成新特征,基于新特征完成商品图像分类,检索视觉相似的训练图像,摘录其标题中的关键文本标注商品图像.最后,从信息检索和机器翻译两个角度分别评价标注性能.实验表明:基于新特征能获取最优的商品图像分类性能,图像分类缩小了图像检索范围,有助于改善检索性能;标注模型的MAP(Mean Average Precision)值和P-R(Precision-Recall)指标均优于基线;所标句子与图像内容语义相关,且连贯性和流畅性更优.

英文摘要:

Ambiguity and noise often occur in traditional image annotation by single words. As the reason, an efficient scheme of product image sentence annotation is presented to describe products more accurately. However, insufficient feature learning still remain in current sentence annotation works. Therefore, image feature learning is implemented based on kernel descriptors so that three kernel features of product image including shape, color and gradient are extracted respectively. Secondly, product image label is obtained after fusing these kernel features based on multiple kernel learning. Thirdly, a group of similar training images are retrieved by visual similarity computation. And the texts annotated on these images are summa- rized to annotate the product image. Finally, experiments are executed from two aspects including informa- tion retrieval and machine translation to evaluate the annotation model. Experiments show that 1) Classifi- cation performance based on fusion feature is superior to the baselines. More importantly, the image classi- fication narrows the retrieval range and boosts the retrieval performance. 2) MAP (Mean Average Preci- sion) values and P-R (Precision-Recall) performances of the annotation model are all superior to the state of art baselines. 3) Sentences generated by our model are more fluent and coherent than baselines as well as describe image's content well.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《武汉大学学报:工学版》
  • 北大核心期刊(2011版)
  • 主管单位:教育部
  • 主办单位:武汉大学
  • 主编:李晓红
  • 地址:武汉市 珞珈山
  • 邮编:430072
  • 邮箱:ejwhu@whu.edu.cn
  • 电话:027-68755516 68752082
  • 国际标准刊号:ISSN:1671-8844
  • 国内统一刊号:ISSN:42-1675/T
  • 邮发代号:38-18
  • 获奖情况:
  • 水利工程类核心期刊,全国优秀高校自然科学学报,湖北省优秀期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),波兰哥白尼索引,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:11402