倒向随机微分方程（BSDE）主要关心在有随机干扰的环境中如何使一个系统达到预期的目标．其理论自创立以来，在随机控制和对策，数理金融，偏微分方程，非线性数学期望等领域取得了广泛的应用．这篇论文旨在发展和完善BSDE理论，以更好的研究随机控制和对策中出现的倒向问题．在随机控制和对策问题中，无论是用BSDE来描述代价（或者效用）泛函，还是用BSDE来描述控制系统，这些问题的核心是BSDE理论．甚至BSDE本身也是一类随机控制问题．因此，BSDE理论的进步和完善无疑会促进一些控制和对策问题的进展．这篇论文的第二，三章致力于BSDE理论本身的研究．在第二章中，我们得到了BSDE理论的一个基础性的结果：解的唯一性和连续依赖性是等价的．在BSDE的系数g满足Lipschitz条件的前提下．BSDE的解对参数的连续依赖性由下面的不等式所表达：由此推演出丰富多彩的成果．我们的结论在某种程度上可以看作上面不等式在非Lip-schitz条件下的对应物，它为非Lipschitz条件下的BSDE的研究提供了一个有力的工具．不同于（正向的）随机微分方程，BSDE的解由两个部分（Y，Z）组成．虽然目前关于BSDE的结论大部分集中在解的第一部分Y上，但是了解Z同样是非常重要的．这篇论文的第三章研究了相当于控制策略的解的第二部分Z的一些基本性质，例如有界性，倒向生存性，比较性质等．Z在金融衍生产品定价理论中代表投资组合，我们的结论可以对投资组合中风险资产价值的正负，大小，区间有清晰的刻划．作为Z的有界性质的另一个应用，我们处理了一类由Bcnsoussan和Frehsc[6]提出的随机对策问题．在随机控制理论中，有一类指标泛函是用BSDE的解来描述的．例如：在效用理论中，经济学家使用BSDE的解来描述递归效用．为使效用最大化，产生了一类递归最优控制问题．彭实戈在[59；74]中系统而深入的研究了这类问题．然而，在实际问题中，有时人们会要求自己的效用高于某条“底线”，也就是说，BSDE的解要大于等于某个随机过程．这需要我们用反射BSDE的解来描述这种带障碍约束的递归效用，相应的产生一类带障碍约束的递归最优控制问题．在金融市场中，当贷款利率高于存款利率时．美式未定权益的定价问题是这类控制问题的一个具体的例子．在这篇论文的第四章，我们针对这类带障碍约束的递归最优控制问题进行了研究，得到了动态规划原理．并证明了值函数是相应的HJB方程唯一的粘性解．这一部分工作深受彭实戈[74]的工作的启发．由于BSDE是一类具有良好结构的动态系统，自然的，我们去研究以BSDE作为控制系统的随机控制问题和对策问题，我们称之为倒向随机控制问题和倒向随机对策问题．这类问题有实际的意义．在达到某个给定的随机目标的前提下，使自己的代价最小（或者效用最大），这可以看作倒向随机控制问题．例如追击问题等．多个人合作去达到一个共同的随机目标，而每个人又希望自己付出的代价最小（或者自己获得的效用最大），这类合作博弈可以看作倒向随机对策问题．目前，关于倒向随机控制问题的研究很少，而在本文之前，关于倒向随机对策问题的研究更是空白．在这篇论文的第五章，我们研究了倒向随机控制和对策（也研究推广的部分耦合的正倒向情形）的一类重要情形：线性二次问题．得到了唯一的最优控制（对于控制问题）和唯一的Nash均衡点（对于对策问题）的显式表达．本文共分为五章，以下是本文的结构和得到的主要结论．第一章：介绍从第二章到第五章我们讨论的问题，背景及想法．第二章：研究连续系数的BSDE解的唯一性和连续依赖性之间的等价关系．正如常微分方程的理论，这个性质是BSDE理论中的一个基本的结论．这部分的主要结果是下面的定理2．2．1（简单情况）和定理2．3．4（一般情况）．定理2．2．1．如果g满足假设（H2．1）-（H2．3），那么下面的两种陈述是等价的．（i）唯一性：方程（2．1）的解唯一．（ii）关于ζ的连续依赖性：任给{ζ_n}_n=1^∞，ζ∈L²（Ω，F_T，P；R），当n→∞时，如果ζ_n→ζin L²（Ω，F_T，P；R），那么其中（y^ζ（·），z^ζ（·））是BSDE（2．1）的任意的一个解，(y^ζn（·），z^ζn（·）)是BSDE（g，T，ζⁿ）的任意一个解．定理2．3．4．如果g^λ矿满足假设（H2．1’）-（H2．4’），那么下面的陈述是等价的：（iii）唯一性：当λ=λ₀时，BSDE（2．8）的解唯一，即，BSDE(g^λ₀，T，ζ^λ₀)的解是唯一的．（iv）关于9和ζ的连续依赖性：任给ζ^λ，ζ^λ₀∈L²（Ω，F_T，P；R），当λ→λ₀时，如果ζ^λ→ζ^λ₀ in L²（Ω，F_T，P；R），（y^λ（·），z^λ（·））是BSDE（2．8）的任意的一个解．(y^λ₀（·），z^λ₀（·）)是BSDE（2．8）当λ=λ₀时的任意一个解，那么第三章：使用Malliavin分析的工具，我们研究BSDE的解的第二部分Z的某些性质，例如有界性，倒向随机生存性（BSVP），比较性质．命题3．2．1．（有界性）令假设（A3．1）和（A3．2）成立．假设D_θζ和D_θg有界，那么我们有其中C是一个常数．特别地，Z_θ=D_θY_θ有界．定理3．2．7．（BSVP）假设g满足（A3．1）-（A3．3）．如果（?）0≤θ≤t≤T，（?）z∈R^m×d×d，（?）y∈R^m×d，d_K²（·）在y点是二次可微的，并且那么BSDE（3．1）的解Z在K中生存．定理3．2．12．（比较性质）假设g¹和g²满足（A3．1）-（A3．3）．对于任意的0≤θ≤τ≤T，（?）ζ¹，ζ²∈(D_1，2)^m∩L²（Ω，F_τ，P），我们有D_θζ¹≥D_θζ²，（Yⁱ，Zⁱ）（i=1．2），是BSDE（3．19）在时间区间[0，τ]上的唯一解．任给t∈[0，τ]，y，y^′∈R^m×d，z，z^′∈R^m×d×d，如果下面的不等式成立，那么Z_t¹≥Z_t²，t∈[0，τ]．然后，我们将这些理论结果应用到数理金融中．由于Z可以代表复制衍生产品价格的资产组合，利用我们得到的关于Z的性质，可以对风险资产价值的正负，大小，区间有清晰的刻划．在这一章的最后，我们处理了一类随机非零和微分对策问题．这个对策问题来源于Bcnsoussan和Frchsc[6]，但是他们利用偏微分方程的方法，只能够处理Markovian情形．我们利用Malliavin变分技术和Z的有界性质，在non-Markovian情形下得到了一个Nash均衡点的显式表达，有很好的实际应用意义．定理3．5．2．令假设（H3．2）-（H3．5）成立，u^*=（u₁^*，…，u_i^*，…，u_N^*），其中u_i^*由（3．57）式定义，是随机非零和微分对策问题的一个Nash均衡点，J_i（x，u^*）=Y_i^*（0）=J_i(x，u_i，（u|-）^i*．其中u_i是任意的容许控制u的第i个分量（i=1，2，（?）N），（Y_i^*（·），Z_i^*（·））是BSDEs（3．56）的一个解．第四章：我们研究了一类带有障碍约束的递归最优控制问题，即，控制系统的效用泛函由一个反射BSDE（带一个下反射边界）所描述．具体来说，我们考虑下面的控制系统：相应的效用泛函为：其中(Y^t，x；v（·），Z^t，x；v（·），K^t，x，v（·）)是下面的反射BSDE的解我们要使效用泛函达到最大值．定义值函数为这类递归最优控制问题在金融市场中有应用．在借贷款利率不同的时候，美式衍生证券定价问题就可以转化为该类带有障碍约束的递归最优控制问题．一个直观的问题是：对于该类最优化问题，经典的动态规划原理是否成立?我们证明了一些反射BSDE的性质，使用彭实戈[74]的思想和框架，借助于这些性质和分析技巧，我们得到了值函数的确定性和连续性，证明了推广的动态规划原理（DPP）对该类问题依然成立．命题4．2．6．（确定性）令假设（H4．2．1）-（H4．2．4）成立，由（4．10）定义的值函数u（t，x）是一个确定的过程．引理4．2．8．（关于x的连续性）任给t∈[0，T]，x，x^′∈Rⁿ，我们有（ii）|u（t，x）|≤C（1+|x|）．定理4．2．11．（DPP）在假设（H4．2．1）-（H4．2．4）下，值函数u（t，x）服从下面的动态规划原理：对任意的0<δ≤T-t，命题4．2．12．（关于t的连续性）在假设（H4．2．1）-（H4．2．4）下，由（4．10）定义的值函数u（t，x）关于t连续．在这一章的最后，我们使用惩罚方法和一些粘性解的技巧，证明了值函数u（t，x）是下面的Hamilton-Jacobi-Bcllman（HJB）方程的唯一的粘性解：定理4．3．6．（存在性）假设b，σ，g，Φ，h满足假设（H4 2．1）-（H4 2．4），那么，由（4．10）定义的u是HJB方程（4．20）的一个粘性解．定理4．3．10．（唯一性）假设b，σ，g，Φ，h满足假设（H4．2．1）-（H4．2．4），那么，在多项式增长的连续函数类中，HJB方程（4．20）至多存在一个粘性解．第五章：首先，我们研究BSDE的线性二次（LQ）对策问题．这类问题是相应的倒向控制问题的推广（见Lim和周迅宇[47]），可以用来描述合作对策．为了记号上的便利，我们仅考虑两个对手，此时系统是相应的代价泛函为：我们的问题是去寻找称为对策的Nash均衡点的（u¹（·），u²（·）），使得我们将这个对策问题和一个线性的初始端耦合的正倒向随机微分方程（FBSDE）联系起来．使用“连续化方法”，我们得到这类初始端耦合的FBSDE解的存在唯一性结果．定理5．1．3．令假设（H5．1．1），（H5．1．3）成立．FBSDE（5．1）存在唯一一个适应解（X，Y，Z）．应用这个结果和一个变换，我们研究这类倒向LQ对策问题．最终得到唯一的一个Nash均衡点的显式表达．定理5．1．6．函数（u_t¹，u_t²）=(（N¹）^-1（B¹）^τx_t¹，（N²）^-1（B²）^τx_t²)，t∈[0，T]，是上面对策问题的一个Nash均衡点，其中（x_t¹，x_t²，y_t，z_t）是不同维FBSDE（5．7）的解，接下来，使用相同的思想方法，我们考虑推广的问题：部分耦合的FBSDE的LQ控制和对策问题．这里，问题更加复杂．由于状态轨线为正倒向随机系统的解，因此可以有更广泛的实际应用前景．为解决这类问题，我们需要考虑双倍维数的FBSDE的存在唯一性问题．相应的结果为定理5．2．2．假设（H5．2．1）和（H5．2．2）成立．那么双倍维数的FBSDE（DFBSDE）（5．10）存在唯一的适应解（X，Q，P，Y，K，Z）．定理5．2．4．映射u_t=-R_t^-1（B_t^τp_t+D_t^τk_t-H_t^τq_t），t∈[0，T]，是LQ控制问题（5．17）-（5．18）的唯一的最优控制，其中（x_t，q_t，p_t，y_t，k_t，z_t）是DFBSDE（5．19）的解．定理5．2．7．我们假设x的维数和y的维数相同：n=m．（a）如果系统（5．20）满足D_t¹≡0，D_t²≡0，H_t¹≡0，并且对于i=1，2，矩阵值过程B_tⁱ（R_tⁱ）^-1（B_tⁱ）^τ不依赖于t，并且那么，映射（u_t¹，u_t²）=(-（R_t¹）^-1（B_t¹）^τp_t¹，-（R_t²）^-1（B_t²）^τP_t²)，t∈[0，T]，是对策问题（5．20）-（5．21）的唯一的Nash均衡点，其中（x_t，q_t¹，q_t²，p_t¹，p_t²，y_t，k_t¹，k_t²，z_t）是TFB-SDE（5．23）的唯一的解．（b）如果系统（5．20）满足B_t¹≡0，B_t²≡0，H_t¹≡0，H_t²≡0，并且对于i=1，2，矩阵值过程D_tⁱ（R_tⁱ）^-1（D_tⁱ）^τ不依赖于t，并且那么，映射（u_t¹，u_t²）=(-（R_t¹）^-1（D_t¹）^τk_t¹，-（R_t²）^-1（D_t²）^τk_t²)，t∈[0，T]，是对策问题（5．20）-（5．21）的唯一的Nash均衡点，其中（x_t，q_t¹，q_t²，p_t¹，p_t²，y_t，k_t¹，k_t²，z_t）是TFB-SDE（5．23）的唯一的解．（C）如果系统（5．20）满足B_t¹≡0，B_t²≡0，D_t¹≡0，D_t²≡0，并且对于i=1，2，矩阵值过程H_tⁱ（R_tⁱ）^-1（H_tⁱ）^τ不依赖于t，并且那么，映射（u_t¹，u_t²）=(（R_t¹）^-1（H_t¹）^τq_t¹，（R_t²）^-1（H_t²）^τq_t²)，t∈[0，T]，是对策问题（5．20）-（5．21）的唯一的Nash均衡点，其中（x_t，q_t¹，q_t²，p_t¹，p_t²，y_t，k_t¹，k_t²，z_t）是TF-BSDE（5．23）的唯一的解．