量子系统控制理论的建立对于量子物理、化学选键、量子信息等领域的发展具有重要的指导意义。但是由于量子系统本身的复杂性和特殊性,量子控制的研究还任重道远,还需要广大的科研工作者在相关领域进行艰辛而不懈的努力。在这一背景下,论文在回顾了研究的背景意义和研究现状的基础上,从经典控制论观点出发研究了最优控制理论在量子系统中的应用,其中,包括布居数的转移控制以及保真度的研究。主要内容包含以下几个方面。1)针对封闭量子系统,研究了能量最优时布居数转移的最优控制问题。针对使用固定控制场的传统求解能量最优算法时最优解存在的可靠性不高、收敛速度较慢等问题,提出了一种动态控制场的能量最优控制算法,并证明了该算法的收敛性质。最后,通过系列的仿真实验,验证了算法的有效性。2)针对封闭量子系统,研究了一维自旋链量子系统模型的时间最优布居数转移控制问题。针对均匀磁场作用下两比特自旋链系统的两类基态100>和101>,利用量子幺正门演化特征,提出了时间最优条件下任意目标态布居数完全转移的控制算法。并对其进行了数值仿真实验,实验验证了算法的有效性。3)针对开放量子系统的量子态布居数转移进行了研究。在二能级开放量子系统的Liouville超算符变换的基础上,利用Pontryagin最大值原理,提出了该系统最短时间内量子态布居数转移的控制算法。根据量子状态跟踪控制的思想,改进了最优目标函数的形式,建立了新的量子态布居数转移控制的能量最优模型,并推导了该模型的一种控制场ε(t)的设计算法。最后对上述提出的两种算法都进行了仿真实验,验证了这些算法的有效性。