【摘 要】
：
为了提高文本匹配的准确率,针对BERT(Bidirectional Encoder Representations from Transformers)模型和MatchPyra-mid模型在文本匹配中存在的局限性,提出一种基于BERT与图像自注意力机制的文本匹配模型.首先,利用BERT模型将一对文本编码为单词级别的特征向量.其次,根据词向量构建2段文本之间的词与词相似性的匹配矩阵,并将其视为单通道的图像表示.然后,通过图像的自注意力机制生成匹配矩阵的自注意力特征矩阵.最后,将匹配矩阵与自注意力特征矩阵连接
【机 构】
：
西安邮电大学计算机学院,陕西 西安 710121
论文部分内容阅读
为了提高文本匹配的准确率,针对BERT(Bidirectional Encoder Representations from Transformers)模型和MatchPyra-mid模型在文本匹配中存在的局限性,提出一种基于BERT与图像自注意力机制的文本匹配模型.首先,利用BERT模型将一对文本编码为单词级别的特征向量.其次,根据词向量构建2段文本之间的词与词相似性的匹配矩阵,并将其视为单通道的图像表示.然后,通过图像的自注意力机制生成匹配矩阵的自注意力特征矩阵.最后,将匹配矩阵与自注意力特征矩阵连接为多通道,利用卷积神经网络捕获图像中的文本匹配信号,并将匹配信号与BERT模型输出的[CLS]编码向量连接后,输入全连接层得到2段文本的相似度.实验结果表明,该模型在WikiQA数据集上相比于BERT模型、MatchPyramid模型和其他文本匹配模型,可以有效地提高MAP和MRR衡量指标,验证了该模型的有效性.
其他文献
针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建(SLAM)算法,以降低动态物体对定位与建图的影响.首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图.最后,基于静态点云与语义分割创建稀疏语
复杂动态背景环境下的运动物体检测和静态地图重建中容易出现运动物体检测不完整的问题.针对上述问题,提出了一种混合视觉系统下点云分割辅助的运动物体检测方法.首先,提出了直通滤波+随机采样一致性(PassThrough+RANSAC)方法来克服大面积墙壁干扰以实现点云地面点的识别;其次,将非地面点数据作为特征点投射到图像上,并估计其光流运动向量和人工运动向量,从而对动态点进行检测;然后,采用动态阈值策略对点云进行欧氏聚类;最后,整合动态点检测结果与点云分割结果来完整地提取出运动物体.此外,通过八叉树地图(Oct
针对云南天文台拍摄的高度模糊的太阳斑点图像采用现有深度学习算法恢复难度大、高频信息难以重建等问题,提出了一种基于生成对抗网络(GAN)与梯度信息联合的去模糊方法来重建太阳斑点图,并很好地恢复出图像的高频信息.该方法由一个生成器与两个鉴别器构成:首先,生成器采用特征金字塔网络(FPN)框架来获取图像多尺度特征,再将这些特征分层次输入梯度分支以梯度图的形式捕获更小的局部特征;然后,联合梯度分支结果与FPN结果共同重建出具有高频信息的太阳斑点图像;其次,在常规对抗鉴别器的基础上,增加了一个鉴别器用于保证由梯度分
利用人脸图片辅助诊断儿童阻塞性睡眠呼吸暂停(OSA)可以减轻医生的负担,提高诊断的准确率.首先,简要阐述了目前儿童OSA临床诊断中的方法及其局限性;然后,在研究了目前已有方法的基础上,结合计算机人脸辅助诊断其他疾病的方法,将计算机人脸辅助诊断儿童OSA的方法分为三种类型:传统的计算机人脸辅助诊断方法、基于迁移学习的诊断方法、基于3D人脸数据的诊断方法,综述了三种类型的方法中的关键步骤,并对这些关键步骤中使用的方法进行了对比研究,为将来儿童OSA计算机人脸辅助诊断的研究提供了不同的切入点;最后,分析了儿童O
针对磁共振(MR)图像切片内分辨率高而切片间分辨率低,导致MR在冠状面和矢状面上缺乏医学诊断意义的问题,提出了一种基于层间插值及多视角融合网络的医学图像处理算法.首先,引入了层间插值模块,用来将MR体数据沿冠状和矢状方向从三维数据切割成二维图像;然后,在分别对冠状面和矢状面进行特征提取之后,通过空间矩阵滤波器动态计算权重用于任意大小的上采样因子放大图像;最后,将冠状图和矢状图在层间插值模块中得到的结果聚合成三维数据后再次沿轴状方向切割成二维图像,对得到的二维图像两两进行融合并通过轴状方向数据进行修正.实验
针对自动化码头船舶配载效率较低的问题,为了提高设备资源利用率,提出了一种基于船舶配载特点设计的固定集搜索(FSS)算法.首先,在考虑一般船舶配载原则的基础上,以桥吊作业计划为依据,引入箱区作业均衡因素,将最小化箱区翻箱量、总装船时间以及尽可能的箱区作业均衡作为目标,建立自动化码头船舶配载混合整数规划模型;其次,通过固定较优解中多次出现的元素来寻求最优解.实验结果表明,不同规模的实例下,FSS算法相较于Cplex,翻箱量和不均衡箱数分别平均减少了22.3％和11.7％,目标函数值平均优化了6.5％;所提固定
针对目前出租车交接班行为识别不够精准的问题,提出了一种基于轨迹数据挖掘的出租车交接班行为精准识别的方法.首先,分析出租车停留状态的数据特性后,提出了一种出租车非运营状态停留点检测方法;然后,对停留点进行聚类,从而得出了潜在的出租车交接班地点;最后,基于出租车交接班事件的判断指标与出租车交接班时间的核密度估计,有效地识别出出租车交接班地点和时间.以福州市4416辆出租车的轨迹数据为实验样本,共识别出了5639个交接班地点,这些交接班地点在市民主要工作区域、交通枢纽、商圈以及风景名胜.而识别出的交接班时间主要
针对航天飞机雷达地形测绘任务(SRTM)中存在由大量尖峰、斑点和多向条纹误差形成的混合噪声对后续应用产生严重干扰的问题,提出了一种基于总变分约束的低秩组稀疏(LRGS_TV)算法.首先,利用数据在局部范围低秩方向上的唯一性来正则化全局多方向条带误差结构,同时使用变分思想进行单向约束;其次,使用加权核范数的非局部自相似性来消除随机噪声,并结合总变分(TV)正则对数据梯度进行约束,以减小局部范围变化差值;最后,使用交替方向乘子优化对低秩组稀疏模型进行求解,从而保证了模型的收敛性.把所提算法与TV、单方向总变分
针对传统的超声血流向量成像(VFM)技术需要专有软件来获取原始多普勒和散斑跟踪数据的限制,提出一种联合深度学习的通用VFM方法.首先,使用速度标尺获取彩色多普勒超声心动图提供的沿声束方向的速度作为径向速度分量;然后,使用U-Net模型自动识别左心室壁轮廓,通过重新训练的PWC-Net模型计算左心室壁速度作为连续性方程的边界条件,并通过求解连续性方程获取各血液质点垂直于声束方向的速度分量(即切向速度分量);最后,合成心脏流场速度矢量图,并实现心脏流场流线图的可视化.实验结果表明,所提方法得到的心脏流场速度矢
脉象识别是中医诊断的重要手段之一.长期以来,依据个人经验进行的脉诊制约了中医的推广与发展.因此,利用传感设备进行脉象识别的研究正在逐步展开.针对神经网络识别脉象的相关研究中,存在需要大量训练数据集,以及存在处理“黑箱”和时间花销较大等问题,在强化学习的框架下,提出了一种采用马尔可夫决策和蒙特卡罗搜索的脉象图分析法.首先依据中医理论对特定的脉象进行路径分类,然后在此基础上为不同的路径选择代表性特征,最终通过对代表性特征的阈值对比完成对脉象的识别.实验结果表明,所提方法可缩减训练时间和所需资源,并可保留完整的