在非线性系统动力学研究领域中有一个重要的分支就是生物系统中种群数量的稳定性,这有助于观察并控制生物发展规律,促进生物与自然和谐持续发展。本文选取具有恐惧效应的捕食者-食饵模型以及乳腺癌细胞表型双向转换模型,运用非线性微分动力学方法和理论,对模型的平衡点的存在性和稳定性进行了分析,之后利用随机动力学理论,讨论了高斯白噪声影响下的捕食者-食饵模型和乳腺癌细胞模型的相关统计性质,并利用数值方法对上述研究结果进行了验证。论文的主要研究内容如下:基于具有恐惧效应的Leslie-Gower捕食者-食饵模型,首先运用非线性微分动力学方法和理论,对该模型平衡点的存在性和稳定性进行了分析,并给出了在不同强度的恐惧效应下,模型在平衡点附近稳定性的变化。之后,利用龙格-库塔数值方法验证了模型唯一正平衡点全局稳定这一结论。最后,考虑两个独立高斯白噪声干扰下的具有恐惧效应的Leslie-Gower模型,利用随机动力学中的Langevin理论和Fokker-Planck方程理论,得到了各种群密度的一、二阶统计矩特征,讨论了不同噪声强度和模型参数对捕食者和食饵种群密度变化的影响,结果发现噪声对模型的稳态产生了较大的影响,尤其是捕食者种群的发展更易受到影响。基于一个乳腺癌细胞双向转换模型,研究了该模型平衡点在线性反馈和饱和反馈机制下的稳定性,利用数值方法讨论了稳定区域和不稳定区域内两个细胞数量的变化趋势。考虑到乳腺癌细胞生长的微环境具有随机性,本文接着研究了互相关高斯白噪声影响下的乳腺癌细胞双向转换模型的随机涨落问题。利用Langevin理论,得到了控制细胞增长概率统计特征的Fokker-Planck方程,通过分析随机细胞浓度一、二阶矩,详细讨论了噪声强度以及噪声关联性对乳腺癌细胞生长的影响。本文进一步通过Fano因子以及敏感性系数,研究了乳腺癌细胞的随机涨落问题,讨论了乳腺癌细胞在随机情形下的生长特征。