东篱科研大数据发现系统（DRDS）

位置：成果数据库 > 期刊 > 期刊详情页

基于MPEG-4的人脸表情图像变形研究

期刊名称：中国图像图形学报,2009(已录用)
时间：0
分类：TP391.41[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
作者机构：[1]清华大学计算机系,北京100084
相关基金：基金项目：国家自然科学基金项目（60433030,60805008）;国家重点基础研究发展计划（973）项目（2006CB303101）致谢文中所用到的人脸图片来自flickr.com.
相关项目：情感计算理论与方法研究

关键词：图像变形, 人脸表情, MPEG-4, face morphing, facial expression, MPEG-4

中文摘要：

为了实时地生成自然真实的人脸表情，提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点；接着在此基础上，对标准人脸网格进行校准变形，以进一步生成特定人脸的三角网格；然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点，并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变；最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充，生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数，输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成，还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明，利用该人脸图像变形方法生成的表情脸像自然度得分为3．67。虚拟说话人合成的实验表明，该方法具有很好的实时性，在普通PC机上的平均处理速度为66．67fps，适用于实时的视频处理和人脸动画的生成。

英文摘要：

Human face morphing is the foundation of facial expression synthesis and talking avatar animation. In this paper, an MPEG-4 based method for human face morphing and expression synthesis is proposed. The method uses a picture of neutral human face and a group of face animation parameters （FAP） as input, and the output is a corresponding facial expression image. There are four stages： facial feature point extraction, mesh generation for specific human face, mesh points movement driven by FAPs, and face texture mapping. After these four stages, photos of various facial expressions are created. Novel algorithms are also implemented for eyeball movement and texture mapping inside the mouth. Perceptual evaluation shows that the face morphing method can synthesize realistic and natural facial expressions for various human face models of different genders, ages and races. Meanwhile, this method is real-time, so it can be used in the areas of video processing and facial animation.

同期刊论文项目