中文摘要：

视频语义内容分析的目标是跨越语义鸿沟获取视频高层语义。本项目试图从分析框架和分析方法两个方面系统全面地探讨视频语义内容分析。分析框架对视频语义进行抽象，对相关领域知识和上下文信息进行建模，明确视频语义内容分析要解决的根本问题；而分析方法研究视频语义分析的技术实现途径。视频语义可归纳为概念语义和关系语义（对应于本项目定义的视频感知概念、视频概念及其关系），视频感知概念与视频概念及其关系的抽象与本体论是吻合的。因此，项目研究视频概念模型和基于本体的视频语义内容分析知识基础，明确视频语义内容分析的着重点在于感知概念与视频概念的探测。在此基础上，立足于视频语义内容的层次特性以及模糊性和不确定性，提出基于上下文信息与概率统计关联模型的视频语义内容分析方法论；具体研究基于机器学习理论的感知概念探测方法和基于本体的视频概念探测方法，为跨越语义鸿沟提供解决之道。

结论摘要：

随着Internet 网络应用和多媒体应用的迅猛发展，数字视频信息的爆炸性增长和视频信息消费方式的转变，对数字视频信息组织管理与内容服务的方法和技术提出了新的更高的要求。研究如何从大量视频中获取有价值信息已成为必然，而其核心在于分析获取视频包含的语义内容。语义鸿沟的存在使得视频语义内容分析面临巨大困难，严重制约了视频消费与应用。本项目从分析框架和分析方法两个方面系统全面地探讨视频语义内容分析。提出了基于本体的视频语义内容分析框架。定义了视频感知概念、概念、高层概念，将视频内容抽象为上述概念以及概念间关系的集合；指明了视频感知概念、视频概念及其关系的抽象与本体理论的本质联系，提出了基于本体的视频知识基础构建方法；提出了基于上下文信息和概率统计关联模型，分层跨域语义鸿沟的视频分析方法。提出基于机器学习的视频感知概念探测方法。视频感知概念的探测需要对大量高维低层感知特征样本数据进行自动分析处理，从中发现有意义的模式，机器学习是解决这一类问题的有效方法。本文分别采用支持向量机、条件随机域、高斯混合模型、决策树模型等机器学习方法来分类识别重要的音频概念、视觉对象概念和运动类型概念，提高了视频感知概念的探测准确率。提出了视频概念探测方法。针对以往基于内容的方法的缺陷，提出了本体支持的概念探测方法，在感知概念探测的基础上，融合低层感知特征和上下文语义信息探测元概念。区别于以往基于内容的方法以及简单线性加权的融合模型，提出了基于贝叶斯网络模型的高层概念探测方法，通过贝叶斯网络建模高层概念与低层概念的关联以探测高层概念，提高了视频概念探测的性能。针对视频情报分析与基于视频的心理战两个应用领域，开展了应用研究。研究提出了基于视频语义内容分析的视频情报内容分析、整编、组织方法和关键技术，以及基于场景分类、对象识别等心理战信息叠加方法和关键技术。设计实现了视频情报分析与检索系统和心理战信息生成平台两个应用原型系统。在完成项目计划研究内容的同时，注意到社会网络媒体的快速发展，认识到多媒体计算与社会网络的结合日趋紧密，在网络媒体话题演化分析和社会媒体观点演化动力学等方面开展了初步的研究工作。综上所述，本文提出了基于本体视频语义内容分析方法，深入研究了相关分析技术，完整的实现了视频从低层语义抽取到高层语义概念探测的全过程，在一定程度上解决了视频分析面临的语义鸿沟难题。