行为金融学在股市系统中的研究是经济学理论研究的新热点。股市系统由于其自身复杂性而在运行和演化过程中出现了许多无序行为。传统的股市研究理论与方法很难处理这种复杂性。混沌理论作为研究系统复杂性的重要工具已被运用到股市系统的研究中，并取得了一定成果。可是数理混沌理论无法解释股市混沌的产生原因、作用机制等问题。本文是关于行为金融理论在股市混沌理论中应用的研究。 首先，以股市的系统属性为切入点，从理论上说明混沌理论应用到股市研究的科学性和可行性。然后，从股市混沌的研究方法入手，论述行为金融学与股市混沌研究结合的必要性和重要意义。以此为基础，构造基于行为金融的股市系统动力模型并对其演化行为进行了计算机模拟，发现了股市系统动力模型的混沌运动。最后，分析了股市系统的分形与行为金融的关系。本文的主要研究结论为：对股市系统混沌动力模型的混沌行为分析表明，当某些参数(如投资偏好)发生变化时，股市系统的状态(如股票价格指数)会从均衡态转为周期态继而转向混沌态。而且股市系统的混沌行为因股市所在地区与时期的不同而有明显差异。 文章最后对本文的不足之处进行了分析，对该领域将来的研究课题进行了展望。