肿瘤,特别是恶性肿瘤,是危害人类健康的重大疾病之一,其中结肠癌和乳腺癌分别是男性和女性癌症患者发生率和死亡率较高的两种癌症。在临床治疗上,肿瘤异质性一直是临床医生治疗癌症时面临的一个重大问题。大量实验表明:肿瘤的异质性与肿瘤内部存在多种不同的癌细胞表型及细胞表型之间存在随机转换的行为具有密切关系。因此,研究癌细胞不同表型之间的随机转换的生物学机制以及动力学行为已成为生物物理学的前沿课题之一。本文主要利用随机非线性理论以及数值模拟技术,分别针对结肠隐窝中与结肠癌产生密切相关的三种细胞表型的单向转换系统和乳腺肿瘤中三种细胞表型的双向转换系统展开了细胞表型转换的非线性随机动力学机制研究,取得了以下研究成果:(1)基于结肠隐窝的连续确定性模型,引入四种反馈机制(LL,LS,SL,SS),我们研究了噪声对结肠隐窝中各细胞种群稳态附近相对涨落的影响。利用Langevin理论,从理论上推导出系统在稳态附近的Fano因子、协方差以及敏感性等理论公式;在合理的参数条件下,对不同反馈机制中三种细胞种群(干细胞、过渡细胞、完全分化细胞)随时间的演化过程、各稳态值随净增长率的变化规律及稳态附近的相对涨落大小进行了数值模拟。我们发现四种反馈机制都可以描述正常结肠隐窝组织细胞种群的动态平衡,但由噪声引起的稳态附近的相对涨落存在明显差异;首次发现随着过渡细胞的净生长率的变化,具有饱和反馈机制的过渡细胞(即LS和SS反馈)在稳态附近的Fano因子出现一个类似于范德瓦尔斯的液气相变曲线,而该过程可对应着结肠癌发生过程中所经历的正常相(健康组织)、过渡相(结肠腺瘤)以及癌化相(结肠癌)三个状态,定性解释了结肠癌从正常结肠组织到癌化的转变过程。这一新的发现可证实含有LS和SS反馈机制的数学模型能够更好的阐述结肠内正常相和非正常相(癌化相)之间转化的动力学行为。(2)针对乳腺肿瘤在外信号(TGF-β)作用下的上皮-间质细胞转换过程(EMT),我们找到一个起重要作用的基因负调控通路,提出了一个描述乳腺癌内不同细胞表型转换过程的动力学方程,建立了一个类似于Waddington表观遗传景观图的势能景观图。我们推导出两细胞表型(干细胞型和基底型)之间转换的平均首通时间(MFPT)的近似公式,判断出两细胞表型的主要转换方向,并可与数值模拟结果定性吻合。我们还研究了不同的系统参数,如改变噪声强度、外信号强度、调节因子的自刺激强度或抑制强度等,对这两个细胞表型之间转换方向的影响。最重要的是,我们所提出的动力学方程能够用来解释乳腺癌细胞所表现出来的一些宏观生理现象,比如乳腺肿瘤中三种癌细胞表型态(干细胞型、基底型以及腺管型)的共存现象、肿瘤治疗过程中的“TGF-ββ悖论”、乳腺癌的五种临床分型、固定微环境下乳腺癌细胞系中各种细胞表型的平衡分布以及乳腺癌扩散中TGF-β表达量变化所起作用等实验现象。这些研究结果可以使人们进一步理解和认识癌细胞的内外部微环境、基因突变、外界信号诱导是如何影响乳腺肿瘤的异质性(各种癌细胞表型的比例分布),并且我们期望这些理论结果能够对相关生物学家提供新的实验设计思路以及给肿瘤临床治疗提供某些潜在的治疗方案。