多模态特征融合的长视频行为识别方法

来源 :计算机测量与控制 | 被引量 : 0次 | 上传用户:abenwin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层
其他文献
针对渐开线圆柱直齿轮齿距偏差的自动测量问题,研究了一种基于机器视觉的影像测量方法;该方法利用影像测量系统摄取被测圆柱直齿轮端面图像,根据齿距偏差的定义设计了齿距偏差自动测量程序;该程序能自动采集待测齿轮图像,并通过图像预处理、拟合圆算法、构造分度圆、提取测量点等一系列处理,最终计算出每个齿距偏差,从而计算出齿轮的单个齿距偏差、齿距累积偏差和齿距累积总偏差;搭建了影像测量系统对该方法进行了实验验证,
期刊
织物纬斜角度检测是布料整纬的关键技术环节,如何快速、准确检测纬斜角度对提高整纬质量具有重要意义;针对现有布料图像整纬方法存在速度慢、精度不高的缺点,提出了基于Hough变换原理和快速傅里叶变换(FFT)多投影的织物纬斜图像快速检测方法;首先对采集到的织物图像通过傅里叶变换对图像进行频域滤波再逆变换,滤除图像中不表示纬斜方向的区域信息,其次使用Sobel边缘方向检测算子对图像进行卷积以得到边缘方向图
期刊
实验室环境对电子仪器及设备的使用安全和寿命以及实验室消防安全有着非常重大的影响,传统实验室环境监控需要安排人员进行24 h值班和巡检,人力投入和安装布线成本非常高;针对上述问题,采用高性能低功耗离子式烟雾传感器NIS-07和温湿度复合传感器DTH11进行环境数据的采集,采用无线网络模块完成数据的传输,并通过微处理器将采集的数据上传服务器,同时采用基于BP神经网络PID控制算法实现在线动态温湿度调控
期刊
随着感知智能水平的日趋成熟,人工智能研究呈现出向认知智能发展的态势;作为人工智能在感知智能方面的代表领域,图像目标识别在向认知智能发展的道路上存在着人机之间以及机器之间知识难通用、可扩展性低等问题;为此,提出了基于知识的多目标关联判别框架,通过引入知识图谱,将目标特征知识进行语义化表达与规则化关联存储,构建了基于知识学习的多目标关联检测与识别方法,动态按需调用目标检测模型的同时,迭代式更新多目标关
期刊
目前对轻气炮弹丸测量的方法通常采用磁测速、激光遮断测速两种方法,这两种方法受到弹丸材质、尺寸、弹前激波等影响时易导致测量结果失效;针对此类问题,提出了一种可靠性更高的基于高速摄影图像模板匹配的轻气炮弹丸速度测量方法;利用高速摄影相机、辅助光源、刻度标尺等组成高速弹丸摄影系统,设置高速弹丸拍摄方案,得到轻气炮弹丸在观察室运动过程的高速摄影结果;采用弹丸目标模板匹配的方法对摄影结果进行计算,得到弹丸运
期刊
针对珍珠自动分拣应用场景,把优等珍珠分成次等品会导致严重利益损失,把有瑕疵珍珠分成上等品会造成产品质量争议和企业信誉受损;基于深度学习的人工智能技术依旧存在着难解释、鲁棒性差等缺点,导致难以实现更高精度的分拣技术;为衡量珍珠分拣准确度的现实需求和提升准确度在现有技术框架下的限制因素,研究提出了一种通过人的分歧介入提升分拣可靠性的方法;该方法引入两个独立AI系统用于珍珠分拣的预处理,然后通过二者之间
期刊
利用傅里叶轮廓术(FTP)可实现对单帧光栅投影条纹图像的相位提取,恢复被测物体三维信息;该方法具有实时性高的特点,但在频域滤波时易受到不均匀背景分量的干扰;现有投影条纹图背景去除方法在遇到条纹图背景分量不均匀时,存在去除效果差,严重影响重建精度的问题;针对该问题,通过实验发现单个条纹周期内的背景分量变化很小,可近似作为常量处理;结合两次希尔伯特变换能有效去除信号直流分量且保持相位信息稳定的特性,提
期刊
导弹发射井是重要的遥感目标,发射井目标检测的研究对国防事业意义重大。在数据层面,由于发射井样本数量少,目前没有可用于其目标检测的有效数据集,构建有效的数据集对相关领域研究有极大价值。在算法层面,遥感图像分辨率的不同导致发射井目标呈现多尺度的特性,这是解决发射井目标检测问题的难点之一。基于以上分析,首先利用Google Earth构建首个发射井目标检测的数据集,然后针对发射井目标检测任务设计有效的检
期刊
针对传统山顶点识别方法中特征选择困难等问题,借助深度卷积神经网络特征自学习的优势,将格网DEM数据中的山顶点提取转换为数字图像中的目标检测问题,提出一种基于改进Faster R-CNN的山顶点识别方法;将DEM数据处理为等高线图与灰度图叠加的形式,采用基于Faster R-CNN的目标识别框架,以ResNet-101替代原始的VGG16作为山顶识别模型的特征提取网络,并在RPN锚框尺寸设置中引入K
期刊
青山碧水间,苗歌声悠扬,村民在产业基地忙碌,到村游客络绎不绝……昔日贫困的花垣县十八洞村,如今面貌焕然一新。作为精准扶贫"首倡地",十八洞村也成为湖南坚决打赢脱贫攻坚战的生动缩影。在全省脱贫攻坚的战场上,湖南省第二测绘院紧紧围绕"技术支撑""数据支持"的中心定位,推动现代测绘地理信息在脱贫工作的深度融合,以数据采集、数据分析、数据应用的全方位地理信息工程建设能力,助推全省打赢脱贫攻坚战。
期刊