针对手语这种视觉语言的动作复杂性和不稳定性,设计了紧致的手语动作数据表示模型,创立了中国手语韵律的描述体系;针对高维手语数据的压缩与传输问题,提出了一种基于几何图像序列的多分辨率网格编码方法;针对手语合成中所涉及的视频编码,提出了一种视频编码的帧内预测和环内滤波技术,有效地提高了视频编码的效率;针对视频内容在不可靠信道上传输时的多描述编码问题,提出了一种基于方向提升小波的多描述编码技术,有效地解决了多个描述间的预测问题,提高了多描述编码质量。主要成果发表在SIGGRAPH,IEEE Trans.CSVT等国际重要学术会议和期刊上。研发的"基于WEB的中国手语播报系统"已被北京奥组委官方网站信息无障碍服务计划采用,相应服务是历届奥运会所没有的,体现了2008奥运会"科技奥运、人文奥运"的理念。成果分别获得国家科技进步二等奖和高等学校科技进步一等奖。
Chinese Sign language;rhythm;multimodal;coding;sign language
1.在多模式手语信息表达方面,从中国手语表达、基于模型中国手语合成、基于视频中国手语合成等方面进行深入研究,提出量化表示中国手语韵律及协同信息的中国手语标记语言CSLML、基于决策树的多模式协同表达模型、和基于多粒度基元的中国手语视频合成方法,增强了手语合成的智能化和可懂度。 2.在图像视频编码方面,针对3D模型提出高真实感数据压缩方法,大幅提升重建三维网格的真实感。基于压缩感知编码框架提出图像自适应观测、图像视频低秩观测、基于张量积多维观测方法,提高了编码端获取有效信息的能力。针对新一代视频编码标准的超高复杂特性,提出基于HEVC平台的screen-content编码方法和熵编码改进方法,并向MPEG & ITU的联合工作组JCT-VC提交国际标准技术提案9项。 3. 在数据库建设方面,建立了包括5584中国手语词、55种手语词根级表情及6种基本表情、147个汉语音节口型的中国手语数据库;包括手语故事(1000汉语词)数据、5段带表情手语故事视频、限定领域(天气预报)手语视频、CSLML标记文本片段的中国手语语料数据库。 4.在原型系统研制方面,完成了面向数字电视、web客户端、手机的中国手语播报原型系统。其中数字电视手语新闻播报系统已累计推广用户1万套,web手语新闻播报系统应用于2008北京残奥会官方网站新闻服务,取得了较好的社会效益。 项目实施过程中,项目组发表期刊和会议(含录用)论文65篇,其中SCI收录21篇(含SCI源刊录用8篇)。申请国家发明专利34项(授权17项),提交国际标准技术提案9项。培养硕士研究生16人;其中10人获北京工业大学优秀硕士学位论文奖;培养博士研究生7人;其中1人获北京工业大学优秀博士学位论文奖。项目组通过参加国际会议、邀请国外专家访问等方式,开展了深入的国际学术交流与合作。