中文摘要：

复杂机电系统的功能与结构的复杂化，导致系统监测与维护所需的信息量急剧增加，故障诊断与安全评估越来越需要对于系统的总体把握。针对复杂机电系统由于缺少外部传感信息而进行服役过程监测的局限性，基于视听交叉感知的神经生理学启示，引入视听信息与内部传感信息进行融合，研究建立复杂机电系统运行状态的监测的理论与方法。提出并建立基于内外感知的复杂机电系统运行状态描述与监测理论体系；提出多运动与多声源目标的分解与编码方法，建立基于多媒体内容描述接口的图像认知与声音描述的数学模型；提出将视频、音频和状态的多模式信息转换成时间相关的单模式信息的多模式信息融合理论与方法，建立基于此融合信息的状态监测；将信息流与能量流特征匹配，探索复杂机电系统的故障演化机理；开发面向智能检测的嵌入式视听融合的软硬件实验系统。本研究面向复杂机电系统能够长期、稳定、安全、可靠运行，为智能化机电装备的开发提供基础理论。

结论摘要：

机电系统的功能与结构日益复杂化，导致对系统监测与维护所需要的信息量急剧能加，故障诊断与安全评估越来越需要对于系统的总体把握。针对复杂机电系统服役过程监测中由于缺少外部传感信息而产生的局限性，基于视听交叉感知的神经生理学启示，引入视听信息，并将其与内部传感信息进行融合，研究建立复杂机电系统运行状态描述与检测理论体系；提出多运动目标与多声源的分解与编码方法，建立基于多媒体内容描述接口的图像认知与声音描述数学模型；提出将视频、音频和内部状态的多模式信息转换成与时间相关的单模式信息的融合理论与方法，并由此建立相应的状态监测机制；将信息流与能量流进行特征匹配，探索复杂机电系统的故障演化机理；开发面向智能监测的嵌入式视听融合实验系统。本研究面向复杂机电系统能够长期、稳定、安全、可靠的运行，为机电系统的智能监控与诊断提供基础理论，对促进现代工业生产系统过程监控技术的发展具有重要理论意义和工程实用价值。 课题立足于科技发展对设备故障诊断提出的新要求，深入研究了现代设备故障诊断的复杂性，详细分析了智能故障诊断方法的重要意义及其应达到的技术要求，同时论证了信息融合方法在故障诊断的有效性。模拟人工行为，创新性地采用视觉信息与听觉信息作为外部传感手段，结合生产系统的内部传感信息，通过信息融合的方法实现了设备的故障监测与诊断，并利用机器学习机制使系统在工作过程中不断优化自身性能，从而改变传统的设备故障诊断方式，开创基于信息融合智能故障诊断的新模式。