行人目标是视频监控中最为重要的信息。我们已初步实现了单摄像头行人目标的跟踪。多摄像头间的行人跟踪已显现出重要的研究意义。针对目标跨越多个摄像头的无重叠视野下的连续跟踪、或行人目标被长时间遮挡后再出现等实际应用面临的问题,本课题致力于研究重现的行人目标跟踪理论、方法和关键技术,以实现对行人目标在跨越无重叠视野、消失后再现时的持续跟踪。由于目标在运动中自身会发生一定的姿态变化,以及不同场景下光照条件变化等因素,通常会导致再现目标的图像观测随时间和空间变化,产生图像观测之间的差异。我们将采用在线学习目标鉴别特征的方法,在线更新目标的特征描述模型,利用在线学习获得行人表观特征描述模型进行目标识别和跟踪。针对无重叠视域下的多摄像头间的目标数据关联问题,将在行人表观特征描述模型的基础上,融合行人运动的位置及方向等拓扑信息,估计目标出现在各视野图像中的概率,融合识别置信度和出现概率,实现目标连续跟踪。
pedestrian feature extraction;object detection;object recognition;object tracking;multi-cameras data association
视频图像中目标的检测与跟踪是计算机视觉中一个非常关键和重要的问题,具有非常广阔的应用前景。在智能监控系统中,希望计算机能够自动地从多个摄像头所获取的视频图像中检测到行人,并且能够稳定、连续地跟踪该行人目标,获取行走轨迹等信息。跨视域重现行人目标识别与持续跟踪是计算机视觉和模式识别领域的前沿研究课题,具有重要的研究价值。我们的项目就是针对上述问题,深入研究了行人鉴别特征提取与目标匹配、在线特征学习、以及人形表象数据关联的方法,以达到在非重叠多摄像机系统下对目标持续跟踪,获取行迹信息的目的。本项目包含四个关键技术。一是行人目标的特征描述建模和鉴别特征提取,此部分又分为离线的和在线的两个阶段,第一阶段,完成离线目标鉴别特征提取和基于统计学习的分类器训练,得到行人检测器,提出基于多颜色特征融合的词袋模型(BOEC),有效地对视角变化的行人进行表观描述和匹配;第二阶段,解决目标在线特征提取和建模问题,利用基于混合高斯模型的背景建模得到人形前景部分,提取目标人形前景区域的表观特征来构建目标的描述模型,之后在线学习并更新目标的特征描述模型,以适应跨视域场景中目标形态的变化。二是基于贝叶斯学习理论的在线小样本统计学习的跟踪方法,实现了基于目标分类器和自适应粒子滤波的运动目标跟踪算法,在单摄像头下跟踪选中的特定目标。三是对多摄像机拓扑结构关系建模,由标定信息获得投影矩阵和不同摄像机间的位置关系,将各视域投影到同一俯视平面内,得到连接关系及距离信息,然后构建摄像机连接关系图模型。四是重现的行人目标的数据关联和匹配方法,利用目标当前所在位置与摄像机关系图模型计算目标之后在不同摄像头中出现的概率,同时计算待确定行人同目标表观模型间的匹配置信度,融合目标的出现概率,实现人物目标的对应,获得感兴趣目标的行迹。最后,我们实现了一个特定目标的跨视域跟踪原型系统,系统中包含背景建模、运动目标提取、行人检测、单镜头下目标跟踪、行人表观特征提取、在线模型更新与匹配、目标位置预测等模块,可以在多角度非重叠摄像机下对人为选定的特定行人目标进行持续跟踪。