近年来,随着人们安全防控意识的提高,越来越多的监控设备被装设在街道、商场、体育馆、办公楼等各类公共空间中,这些监控数据中,蕴含着海量的信息亟待筛选和甄别,加之计算机技术的不断发展,对于人群轨迹数据的挖掘和分析,逐渐成为一个热门的研究方向,其涉及到安全防护,公共空间设计,活动预案订立等众多方面,十分值得深入研究。本文针对监控中的人群轨迹数据,对人群行为进行分析,主要从运动模式学习,异常轨迹检测以及轨迹预测三个方面来进行研究。在运动模式学习方面,首先提出了结构保持复合算法(Structure Preserving Compound Algorithm,SPC)对轨迹进行预处理,将轨迹编码而后降维,以方便后续聚类算法的计算;然后提出了AEM-LDA算法(Annealing-based Expectation Maximization for Latent Dirichlet Allocation)对轨迹进行聚类,针对EM算法在LDA模型参数推断过程中可能陷入局部最优的问题,使用模拟退火对其进行改进,提高了模型训练的精度,并得到轨迹类;最后对轨迹类进行统计和分析,得到两类感兴趣区域,分别是优化路径和关键区域,用以描述人群运动模式。在人群轨迹预测方面,现有的神经网络预测算法直接预测得出一个确定的结果,无法体现预测中存在的不确定性。本文在conv LSTM神经网络的基础上进行改进,通过在网络结构中添加混合密度网络层(Mixed Density Network,MDN),利用高斯核函数的线性组合模拟输出的概率分布,而不是使用唯一确定的位置来进行轨迹预测,有效地提高了预测的准确度。在异常轨迹检测方面,针对独立使用异常检测算法检测标准单一,检测精确度低的问题,本文提出了一个新的异常检测框架。首先提出了基于隔离的异常检测算法(IAD,Isolation based Anomaly Detection)对轨迹进行分类,并在类内进行异常检测,得到初步检测结果后,再结合实补偿编辑距离方法(Edit Distance on Real Penalty,ERP)对异常轨迹进行轨迹相似性度量,进一步甄别轨迹是否异常,从而可以有效提高异常检测的精度,降低误报率。