用于视频修复的连贯语义时空注意力网络

来源 :计算机科学 | 被引量 : 0次 | 上传用户:lbj120225
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现有的视频修复方法通常会产生纹理模糊、结构扭曲的内容以及伪影,而将基于图像的修复模型直接应用于视频修复会导致时间上的不一致。从时间角度出发,提出了一种新的用于视频修复的连贯语义时空注意力(Coherent Semantic Spatial-Temporal Attention, CSSTA)网络,通过注意力层,使得模型关注于目标帧被遮挡而相邻帧可见的信息,以获取可见的内容来填充目标帧的孔区域(hole region)。CSSTA层不仅可以对孔特征之间的语义相关性进行建模,还能对远距离信息和孔区域之间
其他文献
随着医学信息化的推进,医学领域已经积累了海量的非结构化文本数据,如何从这些医学文本中挖掘出有价值的信息,是医学行业和自然语言处理领域的研究热点。随着深度学习的发展,深度神经网络被逐步应用到关系抽取任务中,其中“recurrent+CNN”网络框架成为了医学实体关系抽取任务中的主流模型。但由于医学文本存在实体分布密度较高、实体之间的关系交错互联等问题,使得“recurrent+CNN”网络框架无法深入挖掘医学文本语句的语义特征。基于此,在“recurrent+CNN”网络框架基础之上,提出一种融合多通道自注
文中提出了一种以用户为中心的位置隐私博弈机制,目的是在满足LBS服务质量的基础上生成对应的保护策略,并减小计算规模和效用损失。该机制以Stackelberg博弈模型为基础,用户在请求LBS服务时,采用位置模糊机制对自身位置进行扰动后发送给LBS服务器,使攻击者难以推测自己的真实位置;攻击者根据已知的一部分背景知识,对匿名区域内用户的保护策略进行推断并调整攻击方式,最小化用户隐私水平。为了解决传统线性规划解法在现实场景中计算复杂度过高、实用性低的问题,文中采用生成对抗网络参与保护策略的生成,并尽可能降低效用
为了优化虚拟工业制造的控制策略,采用狼群优化的卷积神经网络算法进行虚拟工业制造控制研究。首先根据虚拟工业制造任务和资源数据,建立任务-资源列表,并结合单位矩阵对任务-资源列表进行稀疏化,形成虚拟制造单元;接着建立卷积神经网络虚拟制造控制模型,并采用狼群算法对权重和偏置进行优化;最后以所有任务的平均制造时间为目标函数,对虚拟制造单元进行训练优化。船舶主机虚拟制造实验证明,相比于常用的控制算法,通过合理设置卷积核池化尺寸的狼群优化卷积神经网络算法能够获得平均制造时间的最优解。
由于存在大量服从高斯分布的样本数据,采用高斯混合模型(Gaussian Mixture Models,GMM)对这些样本数据进行聚类分析,可以得到比较准确的聚类结果。通常采用EM算法(Expectation Maximization Algorithm)对GMM的参数进行迭代式估计。但传统EM算法存在两点不足:对初始聚类中心的取值比较敏感;迭代式参数估计的迭代终止条件是相邻两次估计参数的距离小于给定的阈值,这不能保证算法收敛于参数的最优值。为了弥补上述不足,提出采用密度峰值聚类(Density Peaks
材质识别旨在识别自然材质图像中的主要对象及其所属材料类别。针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所导致的材质识别准确率低的问题,提出了一种基于注意力机制和深度卷积神经网络的材质识别方法,该方法的核心是材质识别深度卷积神经网络(MaterialNet)。MaterialNet利用深度残差网络对图像进行特征提取,采用所提出的级联空洞空间金字塔池化的方式引入注意力机制,使网络可以通过端
随着智能信息技术的发展,知识图谱已被广泛应用于智能搜索等各个领域。知识图谱中的信息一般采取RDF(S)的数据模型来表示。知识图谱的构建需要从大量的数据源抽取信息,而数据库是不可忽视的重要数据源。近几年,对象关系数据库得到了广泛的应用,且其中存储着丰富的语义信息,而基于对象关系数据库自动构建RDF(S)的研究却较少。因此,文中给出了对象关系数据库与RDF(S)的形式化定义,根据形式化定义将对象关系数据库中的语义信息进行抽取,提出了构建RDF(S)数据的映射规则。该映射规则不仅考虑了数据库的面向对象的语义,还
模糊聚类方法可以更有效地对复杂数据集进行分析,由于模糊聚类算法的种类繁多且聚类结果会随着输入的聚类个数的不同而改变,使得模糊聚类算法产生的结果不准确,因此,要获得准确的聚类结果必须确定模糊聚类个数k。目前已有的研究主要是利用多种模糊聚类有效性指标来确定最优聚类个数k,但是诸如SSD,PBM等模糊聚类指标会随着划分的聚类个数k的增加而单调递减,导致聚类个数k不准确。为此,文中提出了一种结合多目标优化算法的模糊聚类有效性指标(A Validity Index of Fuzzy Clustering Combi
实体识别是信息提取的子任务,传统实体识别模型针对人员、组织、位置名称等类型的实体进行识别,而在现实世界中必须考虑更多类别的实体,需要细粒度的实体识别。同时,BiGRU等传统实体识别模型无法充分利用更大范围内的全局特征。文中提出了一种基于命名记忆网络和BERT的实体识别模型,记忆网络模块能够记忆更大范围的特征,BERT语言预训练模型能进行更好的语义表示。对水泥熟料生产语料数据进行实体识别,实验结果表明,所提方法能够识别实体且较其他传统模型更具优势。为了进一步验证所提模型的性能,在CLUENER2020数据集
服务发现旨在解决服务信息爆炸的问题,找到定位满足服务请求者需求的服务。由于服务描述信息主要由带有噪声的短文本组成,并且具有语义稀疏的特征,因此很难提取服务描述文档的隐含上下文信息,此外,传统的服务发现方法在获取服务的特征表示后,直接进行相似度计算,其使用的度量函数是不符合人类感知的。针对上述两个问题,文中提出了一种基于知识图谱和神经相似网络的服务发现框架(KSN)。它使用知识图谱来连接服务描述和规格中的实体以获得丰富的外部信息,从而增强服务描述的语义信息,使用卷积神经网络(Convolutional Ne
针对现有光场深度估计方法存在的计算时间长和精度低的问题,提出了一种融合光场结构特征的基于编码-解码器架构的光场深度估计方法。该方法基于卷积神经网络,采用端到端的方式进行计算,一次输入光场图像就可获得场景视差信息,计算量远低于传统方法,大大缩短了计算时间。为提高计算精确度,网络模型以光场图像的多方向极平面图堆叠体(Epipolar Plane Image Volume, EPI-volume)为输入