论文部分内容阅读
随着畜牧业生产消费需求的增加,全球畜牧业需在有限的环境资源下饲养更多的动物。精准畜牧业可望在实现低成本高效率生产方面发挥着重要作用。在奶牛精准养殖中,面临着基于机器视觉技术对复杂环境下奶牛局部关节区域检测研究匮乏、奶牛区域检测模型鲁棒性和适应性差以及奶牛视频行为识别模型不完善等问题。针对上述问题,本文采用图像处理技术、计算机视觉技术以及深度学习方法,以实现自动高效精准的奶牛监测为目标,对奶牛腕关节区域检测、身体区域检测、犊牛与场景的交互行为识别,以及基于时空特征的奶牛行为视频识别分类等关键技术开展研究。论文主要研究内容及结论如下:(1)研究并提出了一种融合彩色边缘和双边投影的奶牛腕关节区域检测方法。针对目前奶牛腕关节区域检测研究较少,以及复杂的牛场环境、泥巴、排泄物等带来的检测困难的问题,提出了一种融合彩色边缘和双边投影的区域检测方法,首先对获取的彩色图像进行彩色边缘提取以获取牛腿边缘信息;经过开运算、垂直投影和凸壳处理,去除大部分背景并获得彩色牛腿区域;再进行蓝色分量阈值处理和水平投影,以确定目标区域中心和区域范围,从而检测出腕关节区域。对81个样本试验结果表明,与基于Kmeans和基于显著性的检测方法相比,该方法平均重叠率分别提高了6.48%和17.26%,且对背景障碍物或地面反光有良好的鲁棒性,可以有效地检测出奶牛腕关节区域,为进一步检测奶牛腕关节肿大及磨损伤疤奠定了基础。(2)研究并提出了一种基于YOLOv4-SAM的奶牛区域检测模型。为了实现复杂场景下长期对奶牛区域自动高效精准检测,提出了一种YOLOv4-SAM的深度学习网络,该网络将空间注意机制SAM与YOLOv4有机融合,YOLOv4提取多尺度特征,而SAM可突出奶牛生物特征相关的关键特征,以提高生物视觉特征的表征能力。用成年奶牛和犊牛在复杂环境下(如白天和夜间)的视频样本对提出的方法进行测试,结果表明,基于YOLOv4-SAM方法的准确率为92.29%,召回率为96.51%,m AP@0.5为93.13%,其总体性能优于Faster R-CNN、Retina Net和YOLOv4。此外,依据头部与腿部相对高度差,可定量分析奶牛跛行行为,验证了奶牛区域高精准检测的应用潜力。(3)研究并提出了一种基于视频分析技术的犊牛与场景交互行为识别方法。为了实现对犊牛行为的监测以及改善早期农场管理,提出了一种基于视频分析技术的行为识别方法。该方法结合背景减去法和帧间差分法实现目标区域的检测和目标边界或轮廓的获取,并进一步提取目标区域的运动特征,以及与场景中固定区域(如休息区,饲料桶等)的相对位置信息,以实现犊牛与场景的交互行为识别。试验结果表明,犊牛进或出休息区、静止状态和转身行为的识别成功率分别为94.38%、92.86%、96.85%和93.51%。采食和饮水行为的识别成功率分别为79.69%和81.73%。该方法可用于进一步获取犊牛的休息时间、采食时间以及饮水时间等信息,为犊牛管理提供重要的参考数据。(4)研究并提出了一种基于Bi GRU-attention的奶牛典型行为识别分类模型。针对目前奶牛行为识别模型中样本单一以及背景存在大量干扰信息的问题,提出了一种Bi GRU-attention的行为分类模型。该模型将Inception-V3作为图像序列视觉特征提取层,使用双向门控循环单元(Bi GRU)进一步提取时空特征,用注意机制(Attention)模块增强与行为相关的时空特征并实现行为的分类。在犊牛和成年奶牛两组不同的数据集上进行测试,分类准确率分别达到了82.35%和82.26%,优于LSTM、Bi LSTM和Bi GRU模型分类准确率。表明本文提出的Bi GRU-attention方法能够捕获关键的时空特征,提高了行为分类能力,可为精准畜牧业动物行为监测提供技术支持。(5)研究并提出了一种基于C3D-Conv LSTM的奶牛典型行为识别分类模型。针对基于时空特征的奶牛行为识别模型中时空特征提取不够充分问题,提出了一种C3DConv LSTM的深度学习模型。该模型有机融合了C3D网络和Conv LSTM模型,C3D网络从视频帧中提取视觉特征和时间信息,而Conv LSTM进一步提取时空特征,并将最终得到的特征馈送到softmax层进行行为分类。在犊牛和成年奶牛数据集上进行试验,该模型的分类准确率分别为90.32%和86.67%,优于Inception-V3、Simple RNN、LSTM、Bi LSTM和C3D等模型。结果表明,本文提出的C3D-Conv LSTM可提取更加丰富的时空特征,大大提高了行为分类精度,为精准畜牧业中动物行为自动分类奠定了基础。