人脸的艺术造型是指与原型人脸相似且又具有艺术形变效果的三维人脸模型,其在动画影视、游戏、虚拟现实等领域具有越来越广泛的应用,但其相似性与艺术性两种指标往往互为影响,难以兼顾。对此,本项目拟研究保持最优相似性的人脸艺术造型方法。主要研究内容包括1)深入研究异构人脸相似模型。基于二维与三维人脸数据集,挖掘人脸相似属性的内在语义特征,构造与邻居背景相关的人脸相似距离;2)深入研究人脸艺术造型的可调节参数模型。基于人脸造型样本数据学习艺术家常用的风格与手法,挖掘可以表达艺术风格效果的可调参数组;3)深入研究基于异构相似模型与可调节参数模型的人脸艺术造型方法,即在相似模型约束下的参数调节优化方法,以生成最佳相似的创意艺术造型。项目创新点在于采用双层流形降维、流形修补等学习方法研究异构人脸的相似模型和艺术参数模型,并基于这两种模型进一步研究遗传采样优化方法,最终达到相似性与艺术性指标的优化平衡。
Face Synthesis;3D Cartoon Face;Computer Graphics;Machine Learning;
三维艺术人脸造型是指与原型人脸既具有相似性又具有艺术夸张性的计算机三维虚拟模型,在虚拟现实领域具有重要应用价值。 本课题严格按照计划书内容,围绕三维艺术人脸生成问题开展了相关的模型与方法研究。核心思想为基于艺术家手工创作的二维和三维异构化卡通图片进行数据采集,采用机器学习与数据挖掘方法,获得艺术性与相似性模型,并在生成三维卡通人脸模型过程中加以约束应用,获得兼顾夸张与相似两重指标的理想人脸模型。 涉及的具体研究点包括 1)二维与三维异构人脸之间的相似度模型研究。基于采集的二维与三维人脸数据,通过双层流形降维策略,利用相似特征计算二维与三维人脸数据的邻居关系,并将其反映到共享低维流形特征中。二维与三维人脸越相似,则它们在这个共享低维流形特征中的距离越近,据此得到异构人脸相似模型。2)基于相似模型约束的三维卡通人脸生成方法研究。利用主成份分析建立三维卡通人脸的PCA子空间,并构建人脸艺术造型可调节参数模型,然后在子空间中进行遗传采样,并在异构人脸相似模型的共同作用下生成具有较好相似性和艺术性的三维卡通人脸模型。3)由卡通流形约束的三维卡通人脸重建方法研究。根据100个在MAYA环境下手工制作的三维卡通初始化全体三维数据集。然后执行流形降维算法,对二维卡通与三维卡通同时进行约束降维,使二者在某一低维流形嵌入上具有相同流形特征。基于此流形进行流形升维计算,以对三维卡通数据集进行重建。再次对二维数据集与三维数据集进行流形降维和流形升维计算,进入迭代步骤,直至算法收敛,则可获得重建好的三维卡通人脸数据集;4)三维人脸生成在中国手语合成与游戏交互中的应用研究。本项目将阶段性成果进行了试推广应用,试验证明,在中国手语合成系统与三维互动游戏系统中引入重建和生成的三维人脸,可以明显增强系统的界面友好性和交互性。此外,本课题还制作、积累了大量的二维与三维卡通人脸样本,将形成公开可用的数据集供本领域的研究人员共享使用。 总之,课题取得的各项成果达到了原计划的既定任务与指标。基金支持累计发表论文23篇,其中国际期刊论文3篇,国内核心期刊论文8篇,国际会议论文8篇,国内重要会议4篇,其中一篇获得最佳论文。申请了发明专利3项,申请软件著作权登记2项。课题研究期间培养了课题组4名博士生及6名硕士生。已毕业1名博士生,4名硕士生。