多摄像机视频监控中的对象检测和跟踪已经成为监控视频分析领域中的一个研究热点,但相关的算法和技术还不成熟,特别是复杂环境下多摄像机运动目标的检测和跟踪还未能有效解决,多视角显著运动对象的关联分析模型与理论还不成熟,制约了新一代智能视频监控系统的进展。本项目以多摄像机监控视频为对象,针对多视关联的显著运动目标检测与跟踪问题,采用以视觉显著分析为中心的多视监控视频运动目标关联分析框架,重点研究多视监控视频的视觉显著性学习、多视监控视频中的对象关联分析、多视监控视频中的显著对象检测和跟踪等模型、方法和关键技术。
multi-camera surveillance video;multiview relevancy;salient objects;object detection and tracking;
本项目的目标是针对多视关联的显著运动目标检测与跟踪问题,研究多视角对象检测与跟踪理论与方法。项目执行三年以来,我们按照项目任务书的规定开展研究与开发工作,取得了一系列的研究进展,包括(1)在模型与方法方面,提出了基于MvBN的对象关联模型,并针对多视角检测中的鬼影问题,提出了基于MvBN的行人检测方法;针对一般行人检测方法的高度假设和合成误差,提出了高度自适应的鲁棒行人检测方法。相关研究成果发表在BMVC上和投往国际期刊PR。(2)在背景建模、显著对象提取、对象检测跟踪和事件检测等方面提出了多项关键技术针对人群密集场景中前景容易被误判成背景的问题,提出了选择式特征背景建模方法;针对显著度计算中的单一模型难以适应不同场景问题,提出了单帧优化的显著度估计方法;针对行人检测算法结果不稳定问题,提出了基于时空上下文的行人检测算法;针对人体姿态和视角变化问题,提出了基于MPLBoost的DPM混合模型和方法;针对对象跟踪中跟踪漂移的问题,提出了Tacking by detection框架下融合多状态跟踪器的对象跟踪方法;针对交互式事件检测,提出了基于时空立方体特征和序列判别式学习的方法;针对异常事件分布的非均衡问题,提出了基于非均衡时序SVM的异常事件检测方法。相关研究成果发表在IEEE TCSVT、IEEE SPL、ICIP、ICME、AVSS等国际期刊和国际会议上。(3)在国际算法比赛方面课题组2011和2012年连续两年在监控视频领域最权威的TRECVID监控视频事件检测国际比赛(SED)上取得优异成绩;在IEEE举办的PETS2012多摄像机行人检测与跟踪评测中,所提算法在单视跟踪、多视检测与跟踪方面均获第一。(4)数据集建设构建了监控视频检测跟踪数据集,数据集包括12个高清摄像头采集的总计约10小时的高清视频,累计标注20余万帧数据。本项目累计发表论文18篇,其中期刊论文3篇,包括IEEE TCSVT论文1篇、IEEE SPL论文1篇;申请国家发明专利4项。在论文和专利方面本课题已经达到或超过了项目任务书的要求(任务书规定指标为8篇论文、2项专利)。综上所述,项目实施以来,各项研究开发任务顺利开展,各项研究成果指标均已达到或超过了项目任务书的要求。