三网融合环境下交互协作电视内容服务的融合化、个性化、普适化新特性对节目呈现与推荐带来了新机遇和新挑战。本项目围绕为交互电视节目内容提供跨媒体内容融合,并在语义层面上多粒度的自适应用户跨媒体、多模态、个性化信息服务需求,研究基于本体的交互协作电视跨媒体语义融合。 借助多媒体信号处理、机器学习和统计分析的最新进展,结合基于本体的多媒体语义模型,利用数字电视节目中丰富的描述信息,构造数字电视节目本体、节目内容描述本体和用户空间本体,建立这三个本体的自学习演化机制,并研究在本体知识推理下的跨媒体语义融合。本项目的成果可增强交互协作电视高层语义信息的标识与处理,在语义层面上分级自适应地适配融合跨媒体的节目内容,为交互协作电视服务提供跨媒体个性化的节目融合呈现与推荐,从而促进三网融合的内容服务模式创新。
video semantic;Video analysis;cross media convergence;ontology;personal recommendation
三网融合环境下交互协作电视内容服务的融合化、个性化、普适化新特性对节目呈现与推荐带来了新机遇和新挑战。本项目围绕数字电视节目的跨媒体本体语义建模及语义融合、基于本体的用户空间建模与基于本体的个性化节目推荐,研究基于本体的交互协作电视跨媒体语义融合。主要体现在(1)提出新的方法从电视节目中提取准确的特征及语义信息,特别是视频节目中关键目标的运动轨迹等底层语义信息,为语义描述和建模奠定基础,(2)在电视节目本体的基础上,采用MPEG-7描述接口建立起节目的本体XML描述方案,提出了基于用户、节目本体特征模型的SVD分解模型,通过结合用户多维特征及节目本体特征,提升个性化推荐的效果,(3)推动IPTV内容推荐平台框架部署,实现“MyTV”进行交互协作电视内容服务模式创新的测试验证。本项目综合多媒体信号处理、机器学习和统计分析的最新进展,围绕多媒体语义识别、表征进行了研究,发表了多篇论文,基于本项目的成果可增强交互协作电视高层语义信息的标识与处理,为交互协作电视服务提供跨媒体个性化的节目融合呈现与推荐,从而促进三网融合的内容服务模式创新。