短视频人物动作识别及背景风格转移方法研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:liyanxia8521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网以及移动端设备的快速发展,越来越多的用户在各类互联网短视频平台上进行创作。如在抖音上传自己的跳舞视频,由此产生了大量包含各种动作信息的短视频数据。因此对这些短视频数据进行等各方面的分析也就有了重要的价值。短视频内容学习是对生活中各类短视频数据进行分析、处理、归纳和推理的过程。短视频人物动作识别与背景风格转移是短视频内容学习算法的一个分支。然而,短视频数据中存在着空间和时间维度的特征,传统的特征提取器只专注于空间维度的特征,导致动作识别和背景风格转移的效果较差。此外,在处理短视频数据时需要设计三维卷积网络模型,而模型过大且参数量过多导致模型过于冗余。因此,目前的短视频人物动作识别和背景风格迁移解决方案有两个方面。一是设计一个模型来同时处理空间和时间特征。另一种是设计一个模型来实现特征的转换和迁移。两个模型都具有少量参数。针对短视频人物动作识别。本文为了减少参数,在双流网络的基础上进行改进,提出了层级变换器模型。并在谷歌的变换器基础上进行改进,提出了时空混合注意力,对短视频的人物动作特征进行细粒度的分析。针对短视频背景风格转移,本文与传统编码解码器不同的是。提出了图像视频协同学习架构,使用不同的损失函数对图像视频编码解码器进行学习,使用控制因子对损失函数的平衡进行调整。以达到短视频背景风格转移的目的。本文的主要内容,及创新点如下:(1)针对三维卷积网络具有大量参数,而双流网络无法充分提取短视频特征的问题。本文提出了层级变换器模型,旨在更充分地提取特征并减少参数。该模型分为三个模块:层级残差重整器,空间注意力和时空混合注意力。首先将短视频的每一帧转换为空间视觉特征图。其次,通过空间注意力分析空间特征以生成注意力空间特征向量。最后,将生成的注意力空间特征向量与时间特征图合融合,以生成用于动作识别任务的融合特征。(2)针对如何生成抽象风格背景的短视频的问题。本文提出了Render Net。Render Net由一对视频编码器和解码器,一对图像编码器和解码器以及一个生成器组成。编码器用于提取图像和视频特征,解码器用于重建图像和视频,生成器主要用于生成最终的短视频。Render Net使用了三种不同的损失函数来分别优化学习特征,计算视频帧与图像之间的图像梯度损失和视频帧梯度的损失。
其他文献
视觉定位是通过连续拍摄的图像序列确定机器人本体在某种坐标系下的位姿,在自动驾驶、移动机器人、AR/VR等领域有广泛应用。与激光SLAM定位相比,视觉SLAM定位具有成本低廉、结构简单、便于安装等优势。传统的视觉SLAM技术在强几何结构弱纹理室内环境中由于特征点匹配性能低表现较差;并且依赖静态环境,而实际的室内应用场景中经常存在走动的行人等动态物体,会影响系统定位精度。基于现有SLAM技术室内定位中
学位
学位
随着信息时代的发展与进步,国防现代化建设的加速推进,软件在舰载视频显控设备中的应用已日益深入而广泛。软件的规模、复杂度和数量都在大幅度增长,呈现出多样化、复杂化和智能化的特点,很多重要的系统功能都不得不依靠软件设计来实现。C公司作为一家承担舰载视频显控设备配套软件研发的企业,近年来在软件项目管理过程中存在计划制定不合理、进度缺乏控制、资源保障不到位等问题,时常出现产品延期交付用户,导致客户满意度降
学位
作为轮式移动机器人的重要组成部分,独轮车机器人具有运动形式多样化,地形适应性强,驱动关节少等特点,其自身结构决定了它是一个多变量、多重耦合、高度非线性系统,因此对于控制问题提出了高要求。自抗扰控制算法(ADRC)具有结构精简、参数整定方便、对系统内外部干扰抑制性强等优点,可有效降低传统控制算法对精确模型的依赖性。本文以线性二阶自抗扰控制为核心算法,针对独轮车机器人的自主平衡运动控制问题展开了研究,
学位
在新的时期,新的环境下,初中生所面对的学习压力也在不断地增加,同时,对初中生的情感的影响也在不断地增加,因此,对初中生的情感进行研究,并制定相应的情感调控措施,对于初中生的身心发展有着非常重要的作用。人际情感调控是一种以人为本,以社会交往为手段,对自身与别人的情感进行调整的过程。当前,人与人之间的情感调控研究主要有"交互视角"和"社会情景调控"两种,它们的测度方法有外在的行为指标,也有内在的大脑机
会议
在现有水下信息系统当中,水下探测与水下通信技术一般都作为单独设备进行研究与设计。随着人们对海洋资源开发和水下环境监测的需求逐渐提高,深海环境下成像质量降低,通信难度增加,迫切需要研究与开发高质量图像获取、高速率实时通信的集成设备。本文基于FPGA硬件开发平台开展了水下成像的偏振光图像差分增强处理及水下LED无线光通信的图像信号传输。通过模拟海水环境,系统发送端采用偏振光照明与液晶旋光作用分别获取水
学位
幼儿园借助丰厚的当地资源开展绿色种植活动,不仅能够激发幼儿对大自然的热爱与感恩之情,其趣味横生的实操环节以及井然有序的课堂布局还能够提高幼儿对植物的全面认知,培养幼儿认真细致的观察能力。更重要的是,能够在其幼小的心灵中播撒爱的种子,帮助幼儿有效树立正确的世界观、人生观、价值观。
期刊
微波是指频率在300 MHz-300 GHz(对应波长在1 mm-1 m)范围内的电磁波,微波滤波器是用来选择有用频率,抑制无用频率的微波信号的器件。作为无线通信系统中的一个关键部件,微波滤波器在信道选择、镜频干扰滤除、噪声抑制等方面发挥着重要作用。本文基于微带和金属腔体两种形式研究并设计了两款高性能小型化微波滤波器。主要内容如下:1、设计了基于微带线形式的低通(<1.0 GHz)滤波器。微带滤波
学位
随着社会经济和移动互联技术的发展,网上购物在如今的社会生活中已经非常普遍。随之而来各大社会化商务平台的竞争也越来越激烈,为了吸引更多用户的关注和购买商品,社会化商务平台的众多商户会在如“双十一”、“618”等特定日期举行大规模促销活动。然而在促销期间获得的新用户大多只购买一次商品,在促销活动结束后并不会在该商户重复购买商品,不能为商户带来长期回报。因此利用促销活动所获得用户历史行为数据构建模型,预
学位
旁路开关是卫星电池配套器件,连接在各单体电池之间,在各单体电池特性均正常时电池回路电流流经旁路开关常闭点,在个别单体电池特性严重劣化后旁路开关触发旁路该单体电池,触发后旁路开关常开点接通、常闭点断开,电池回路电流流经其常开点。分析其工作过程,旁路开关在未收到触发信号时应可靠保持在未触发状态,在接收到触发信号后应可靠触发,以实现对锂电池单体或并联单元的故障切除和保护,保证整个电池组的正常工作。旁路开
学位