中文摘要：

首先，在产品需求随机变化情况下，根据单工序多站点传送带给料加工站（CSPS）的协同工作机理，引入反应扩散思想和状态聚类等方法，研究局域信息交互模式下，集前视距离和产能变量一体化控制的多agent在线协同学习优化方法；其次，根据带有柔性站点调度的多工序多站点CSPS的分层控制结构特点，重点研究柔性站点的在线option分层强化学习优化方法，并构造分层切换控制模式下系统的分层协同学习优化机制；最后，在多agent协同学习优化算法及option算法中，分别引入CMAC网络结构对学习值或策略进行逼近存储，并研究构建相关的神经元动态规划优化方法。研究成果将揭示产品需求对多站点协同优化控制的影响规律，阐明柔性站点的切换机制，可为实际CSPS系统的优化控制提供解决思路和参考依据，研究成果也是对分布式自治协同系统优化方法的一个有益补充。

结论摘要：

随着科学技术的快速发展，人类社会将逐步进入“工业4.0”时代，迎来以智能制造为主导的第四次工业革命。而在许多实际制造企业中，存在一类由传送带给料生产加工站(CSPS)构成的现代化生产线，在某种程度上，CSPS的智能化水平反映了整个产线甚至该企业的信息化水平。因此，对这类系统的优化控制问题的研究，具有十分重要的现实意义。首先，针对前视距离可控、服务率可控、多品种工件随机到达、产品需求随机变化等情况，研究了单站点CSPS系统的优化控制问题，包括单站点CSPS 系统的神经元动态规划优化控制方法以及鲁棒控制问题。在此基础之上，研究了多站点CSPS 系统的在线协同优化控制问题以及多工序CSPS系统基于柔性站点的分层优化控制问题。同时，研究构建了相关的神经元动态规划优化方法。最后，将解决CSPS系统优化控制问题的强化学习、多Agent协同控制方法等成果应用于传感器网络、微网的能量优化调度等问题，取得了良好的效果。研究成果是对复杂离散事件动态系统优化方法的一个有益补充，为一类智能制造或服务系统的实际优化控制提供新的思路和方法。