中文摘要：

多媒体网络覆盖控制是无线传感器网络研究的重要部分，具有广泛的应用前景，也是随着多模态信息融合理论和研究不断发展而产生的难点问题之一。课题基于声频与视频传感器的不同特性，在多模态传感协作机制下，利用机器学习理论，构建能耗低、可靠性高的多媒体传感器网络节点控制系统。研究节点能量函数的在线更新及基于加强学习的无监督自动唤醒机制，增强系统对动态环境的适应性，避免节点间时刻通讯所造成的能量损耗，有效延长网络寿命；研究网络中多媒体数据的时、空关联性和网络的几何特性，实现稀疏节点环境下节点信息的有效传递与目标的精确定位，为覆盖控制提供有效反馈；分析声频与视频传感器的异质输出，以特征层与关联层的融合研究为重点，完成遮挡和多目标环境下的目标跟踪，增强系统的准确性；研究该方法的性能和有效性，从多角度评价该方法的理论及工程意义。本项目属于应用基础研究，预期的研究成果在工业、民生、军事等领域有广泛的应用前景。

结论摘要：

多媒体网络覆盖控制是无线传感器网络研究的重要部分，具有广泛的应用前景，也是随着多媒体异质信息融合理论和研究不断深入发展而产生的难点问题之一。课题分析声频与视频传感器的不同传感特性，建立以视频传感为主，声频传感为辅的多传感协作机制，结合机器学习理论，获取网络中目标的精确位置，进而构建能耗低、可靠性高的多媒体传感器网络节点控制系统。首先，课题在增强学习的理论框架下，设计合理有效的传感器网络覆盖控制方法及节点调度策略，研究兼顾能量有效和网络覆盖两方面性能的传感器网络覆盖优化算法，研究节点能量函数的在线更新及基于加强学习的无监督自动唤醒机制，增强系统对动态环境的适应性，避免节点间时刻通讯所造成的能量损耗，有效延长网络寿命。课题在簇头选择、有向节点感知方向选择、休眠调度三个阶段设计学习自动机，通过学习自动机与环境信息交互，自身动作的奖惩，学习选择出实现目标的最优动作控制策略的问题。其次，为向网络覆盖自动学习机返回加强信息，研究利用视频信息准确完成目标定位。为此，课题分析视频信息中相邻帧之间的相关性，将跟踪问题转化为分类问题，采用在线学习的方式，分析由于在线样本无监督信息带来的学习误差和模型漂移问题，从模型生成、模型更新、数据更新三方面研究改进的在线学习机制不断更新跟踪模块和检测模块的目标模型及相关参数，在目标光照、姿态发生较大变化的情况下提高跟踪结果的稳定性、鲁棒性和可靠性；在此基础上，利用跟踪结果在线更新主动轮廓模型约束，提高运动目标大形变或边缘模糊的情况下轮廓跟踪的准确性。最后，课题分析声频与视频传感器的异质输出，结合声频传感的全向感知模型与视频传感器的有向感知模型，设计二者的架构方式，并在此基础上，通过对声频与视频传感器不同传感特点的分析，研究二者在关联层与跟踪层的融合测量，加强系统对局部遮挡与多目标问题的适应性，完成遮挡和多目标环境下的目标跟踪，增强跟踪系统即网络覆盖目标信息反馈的准确性；此外，研究多个视频传感节点的协作跟踪机制，研究基于信息置信度的节点选择机制，消除节点冗余并进一步提高跟踪系统对于目标遮挡的鲁棒性。课题研究期间，共发表论文21篇，其中SCI期刊论文4篇，EI期刊论文5篇，EI会议论文4篇，CSCD核心期刊论文8篇，申请发明专利6项，申获发明专利1项，培养硕士研究生14名，已毕业8名。本项目研究成果在工业、民生、军事等领域有广泛的应用前景。