近年来,随着我国智慧校园建设的快速发展,信息技术与教育教学深度融合成为必然趋势。在课堂教学中,学生的行为状态能够反映学生的课堂参与度和教学效果,对于教学质量评估及改进教学方式具有借鉴意义。同时,随着人工智能的发展,深度学习在语音、图像识别,自然语言处理等多个领域都取得了大量成果,新的框架模型不断涌现。其中,卷积神经网络（CNN）因其结构简单、训练参数少和适应性强等特点成为众多科学领域的研究热点之一。本文研究基于卷积神经网络的目标检测算法,并将其应用于学生课堂行为状态的识别,具有重要的研究意义与应用价值。主要研究内容如下:首先,阐述了人工智能在教育教学领域中应用的研究背景和深度学习算法的研究现状,分析了目标检测算法在学生课堂行为状态识别上的应用前景。同时介绍了深度学习的经典模型和目标检测算法,并对算法的性能进行了比较分析。其次,针对卷积神经网络中的YOLOv3算法在小目标检测上存在精度不高和学生课堂行为状态识别上存在的漏检问题,提出了一种基于YOLOv3算法的改进目标检测方法。该方法一方面采用K-means算法对训练数据集做聚类分析,从而得到适应数据集训练的锚框（anchor）大小;另一方面,通过对输入图像进行区域划分和有效目标图层提取的结合,增加了深度卷积层对小目标的特征提取量,从而使YOLOv3算法的检测精度进一步提升。实验结果表明,改进后的YOLOv3算法在VOC2007验证集上的平均准确度（m AP）达到了78.8%,并且在学生行为状态的识别效果上也进一步提高,m AP的值达到了88.6%。再次,针对YOLOv3算法在训练过程中存在正负样本不平衡和分类检测能力弱的问题,进一步对YOLOv3算法进行了改进。一方面,通过在线难例挖掘算法（OHEM）对自建的学生课堂行为数据集进行处理,使训练过程中正负样本的不平衡问题得到改善;另一方面,在YOLOv3算法的特征提取网络层后引入RPN结构,再对特征图进一步检测和分类。实验结果表明,改进方法提升了算法在自建学生行为数据集上的检测精度,同时也改善了算法对多行为状态的漏检识别现象,其中平均准确度（m AP）的验证值达到了90.2%。最后,对论文的工作内容进行了总结,并对深度学习在教育教学的应用上做了更进一步的展望。