在经济发展的过程中,资本市场逐渐发挥着越来越重要的作用,但各国资本市场在发展的过程中都出现了“交易量异常”、“尖峰厚尾”等金融异象,近20年更是发生了世界范围的金融危机,股票市场出现崩盘,有效市场理论也因此受到了挑战和质疑。很多学者开始从行为金融学角度去分析市场上微观投资者主体,来解释市场出现的金融异象。有学者研究发现市场波动并不是线性的,而是具有分岔和混沌的特征,这是由市场上不同类型投资者的非理性行为综合决定的。我国股票市场素来有“牛短熊长”、“暴涨暴跌”的特点,投资者结构以个人投资者为主,具有明显的非线性特征。因此,从市场上异质性投资者主体的角度研究我国股票市场波动问题便很有意义。本文首先介绍了研究背景和研究意义,并对相关文献和有关理论进行概述,介绍了行为金融学、分岔理论和混沌理论等;其次,分析了异质性投资者主体对股票价格波动的影响,并考虑了外部噪音对股价波动的影响;接着在传统BH模型的基础上,根据我国投资者结构,将市场上投资者分为机构投资者和个人投资者,并考虑了个人投资者的不确定预期函数,建立了包含机构投资者和个人投资者的非线性价格模型,为动力学分析提供模型基础;动力学部分首先分析系统平衡点的稳定性,并通过数值模拟的方法对建立的非线性动力学系统进行动力学分析,检验个人投资者不同函数形式下系统的分岔情况,以及有无外界扰动时投资者策略转换强度对整个动力学系统的影响。在动力学分析的基础上,进一步收集市盈率、波动率、沪深300指数等数据,观察我国股票市场的波动性情况。通过研究本文发现:动力学系统存在不稳定点,且存在分岔、混沌等不稳定状态。个人投资者的预期函数形式会影响系统的分岔情况,投资者的转换强度、外界扰动等因素都会影响系统的稳定性。投资者的转换强度越大,系统越趋于不稳定,外界扰动也会加剧整个金融系统的不稳定性。数据分析部分发现我国股票市场存在过度波动现象,表明市场处于不稳定的状态,并且在投资者换手率较高的期间市场确实表现出更大的波动性,与动力学分析结果一致,解释了异质性投资者对股票市场波动的影响。