视频监控在公共建筑的安全秩序维护中有着广泛的应用。传统的视频监控主要依赖于人工操作,因此发生突发事件时往往无法得到及时的处理。近年来,人工智能再次卷起浪潮,并在建筑安防领域具有良好的应用前景。人员的异常行为检测研究是计算机视觉领域中的研究热点,同时也是视频监控向智能监控升级的关键所在,在建筑安防的研究领域内备受关注。传统的检测方法需要人工进行特征设计,检测的准确率较低,耗时较久。而基于深度学习的行为检测方法则拥有高效的计算效率以及较优的模型泛化能力。本文对公共建筑中的人员异常行为的检测方法进行了相关的研究工作,具体内容如下:首先,针对公共建筑安防领域内的智能监控进行背景调研,对智能监控中的基于深度学习的人员异常行为检测方法的基本理论、研究现状等进行了分析。接着,为实现对人员的异常行为检测,提出了一种基于改进的双流CNN（Two-stream Convolutional Neural Networks）人员异常行为检测方法。针对双流CNN网络无法实现对视频中的时序信息的有效利用,在双流网络中引入了LSTM网络,利用网络的记忆功能实现对时序信息的学习。同时为提升方法的检测准确率,对双流网络的输出结果进行了加权融合的操作,并通过实验评估的方式来验证方法的有效性。然后,为解决双流CNN网络无法实现对长时间片段的有效处理,保留原有的双流网络结构不变,提出了一种基于改进的TSN（Temporal Segments Networks）人员异常行为检测方法。考虑到视频中正常行为数据与异常行为数据的分布不平衡问题,在TSN网络中引入GAN网络,利用生成器和判别器的互相博弈学习实现对数据的处理。此外,为进一步提升方法的检测效果,在网络中引入注意力机制,实现对双流网络中的空间特征和时间特征的加权融合处理,将融合后的特征输入到后段的网络中继续进行训练,并通过实验评估对方法进行验证。最后,针对建筑的实际场景设计了一个行为检测系统,用于对建筑内人员的行为检测,防范危险的异常行为的发生,以便能够做出及时的处理。经测试,该系统可以有效实现对建筑内人员的行为检测。