本文以中国证券市场为研究对象，通过构建证券市场价格波动的数学模型及动力学模型，利用混沌动力学知识及计算机数值模拟，主要研究了噪声交易者、交易者的异质性信念对市场价格波动及其复杂性的影响。把交易成本、不完全信息及交易者的异质性先验信念引入到模型中，从行为金融学的角度，解释了证券市场上的一些现象。本文主要包括以下几方面内容： 1.对中国证券市场的研究现状，以及证券与证券市场的相关概念和模型，这些构成了本文的理论基础。 2.结合中国实际情况建立非封闭市场下的DSSW模型，使用风险规避系数、平均乐观程度这两个投资者主观偏好参数的波动来描述投资者情绪波动，进而对噪声交易者的情绪、噪声交易者在市场中所占的比例如何影响股票价格波动进行探讨。 3.在考虑交易成本的情况下，讨论完美理性预期模型和非完美理性预期模型，发现在完美理性预期模型下，交易者的异质先验信念对证券价格几乎没有影响，在非完美理性预期模型下，交易者的异质先验信念不仅对证券价格有决定作用，而且对交易者风险证券的最终持有量具有扰动作用。 4.简单的把市场上的投资者分为固定部分和适应信念部分，建立了一个简单的四维离散动力系统。通过分析系统的动力学性质，得出技术交易者是系统中的不稳定因素，并且随着技术交易者中持有价格是正向移动信念的交易者的增多，市场上交易越发活跃、技术交易者越能获得较大的利润，但是同时也加剧了市场上的价格波动。