中文摘要：

建立被称为连续时间马氏决策过程平均最优的第三种研究方法,回答了J.Bather提出的平均最优方程解的存在性问题; 建立美法学者等关注的非平稳离散时间马氏决策过程的平均最优方程,实质性拓展了Dynkin院士等给出的平均最优性结果; 首次研究连续时间Markov对策,解决了V.V.Rykov院士等关注的行动和控制过程的构造问题; 即将在Springer出版第一本关于连续时间马氏决策过程的专著. 上述成果发表在Ann.Appl.Probab.,Adv.in Appl.Probab.,IEEE Trans.Automat. Control, SIAM J.Optim.等著名期刊上,被多次引用,并得到国际杂志Top, Automatica, Math.Meth.Oper.Res.,J.Math.Anal.Appl., Math.Reviews,Zentralblatt MATH等上的好评.

结论摘要：

本项目旨在研究下列三个问题1) 策略依赖历史且状态转移率和效益函数均无界的连续时间MDP的折扣与平均准则；2) 连续时间MDP和连续时间Markov对策的首达目标准则、概率准则、和风险灵敏准则；3)离散事件动态系统中的Markovwitz均值-方差投资组合理论. 本项目完成了研究计划，达到了预期目标，主要研究结果如下. 1）对折扣准则、平均准则的研究不同于构造转移概率函数的经典构造方法，利用过程轨道空间的技巧，并通过拓展概率论中标准的弱收敛的定义，我们成功构造了状态过程，并将经典的马氏过程的结果成功拓展到非马氏的情形；进而，建立了新的、强有力的使折扣和平均最优策略存在的最优性条件，给出了最优策略的线性规划算法、值迭代算法、及其特征, 并首次给出一般状态下折扣最优值函数和折扣最优策略的解析表达式，还用满足我们新的最优性条件而不满足传统最优性条件的若干应用例子等来阐明我们研究方法和最优性条件的优越性。 2） 对首达目标准则、概率准则、风险灵敏准则的研究 通过提出的“推移策略”技术，及首次分解技巧和跳跃点的马氏性，首次建立了连续时间MDP、非平稳离散时间MDP、以及半马氏决策过程的首达目标准则的最优方程，给出了强有力的最优策略和约束最优策略存在的条件、及其线性规划算法和值迭代算法，还用若干实际例子阐明首达目标准则与经典折扣准则的本质差别和不同。对半马氏决策过程情形的概率准则和风险灵敏准则，通过引入新的且更广泛的策略，找到了最优策略存在的条件，给出用于计算值函数和最优策略的值迭代、策略迭代算法、及其应用例子。 我们的方法可用于连续时间随机博弈的首达目标准则、概率准则、及风险灵敏准则，并能得到相应结果。 3）对离散事件动态系统中Markovwitz均值-方差问题的研究针对离散事件随机动态系统的MDP模型，我们首次提出并研究了MDP中的“均值-方差”问题，该均值-方差”问题是MDP中方差最小化问题的发展和拓广。针对有限连续时间MDP折扣模型，我们首先给出可行策略的特征及其方差的新表示，给出最优策略的存在性及其算法。 4）实际应用我们的研究方法在急性缺血性中风疾病(AIS）最佳中西医结合干预方案的实际应用中取得可喜结果。