该项目研究的目的是探索混合系统分层控制的最优控制机制。研究基础是马尔可夫决策过程的性能势、策略迭代、算子理论、随机微分方程以及最优控制理论的结合。我们从分曾控制的角度研究如下模型,考虑一个两层的系统,上层是事件驱动系统,可以建模为马尔可夫链,上层决定下层的运行模式。每个模式下,下层时间驱动系统的动态方程可以用随机差分方程来描述。这类问题不仅具有重要的理论意义,同时也有相当的实际应用价值。针对这类问题,我们从马尔可夫决策过程的角度提出解决控制问题的一个新方法。基于策略迭代方法,我们可以发展出针对这类控制问题的在线学习和优化算法。
英文主题词hybrid systems; hierarchical control; Markov decision process; Performance potential