协同目标分割与识别的研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:yangglan2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类能够轻松地完成对视野中目标物体的解析,比如将目标分割出来并进行识别;但对于计算机,图像分割仍是一个具有挑战性的任务。一个重要原因是,计算机视觉模型在进行图像分割时往往只基于底层的图像数据,而很少涉及到有关于待分割目标的具体知识。事实上,无论对人类还是对计算机,目标分割与目标识别这两个任务是密切相关的:对目标的认识和有关目标的知识能够指导分割模型获得更精确的结果;反之,由于没有背景干扰,更精确的分割结果也可以提升目标识别的效果。这两个任务形成了一个“鸡生蛋-蛋生鸡”的问题。在分析了国内外相关研究领域的基础上,本论文重点研究如何在目标分割任务中引入来自目标识别任务的信息,实现两个任务的协同。本文的主要研究内容和贡献在于:
  1.基于对人类视觉认知机制的模仿,我们提出了一个协同目标分割与识别任务框架,其中两个任务相互交流和促进。基于这一框架,我们以变分分割为基础,以玻尔兹曼机(RBM)为核心实现了一个协同任务模型,其中目标被表达为两个方面:形状和外观。形状用于表达目标的整体结构,而外观用于表达形状内的颜色、纹理等信息。RBM的判别功能和生成功能都被应用到协同任务中。前者用于提取目标形状的特征并完成识别任务,后者则将基于特征和识别结果,生成出参考形状来引导分割过程。目标的外观信息用于进一步约束分割结果,使得分割得到的结果与外观知识相契合。
  2.由于RBM的学习和表达能力存在缺陷,我们将协同任务模型拓展到了现代深度学习方法中,用编码器与解码器分别表达判别过程和生成过程,让协同任务模型的构建更加灵活。特别地,我们使用胶囊网络来学习和表达目标先验形状知识。它能够解耦目标与干扰的特征,过滤掉干扰信息,更准确地提取到目标的形状特征。而胶囊神经元独特的设计也保证了提取到的特征中,每一维数据都具有某种特定的含义,因此能进一步增加协同任务的可解释性。
  3.针对变分分割方法表达能力的缺陷,我们使用神经网络替代变分方法来自主学习和估计演化方向并完成分割。与变分方法一样,神经轮廓演化方法也允许引入先验知识来指导和约束轮廓演化,但它更加鲁棒,更能适应不同的初始轮廓,演化效率更高。我们将神经轮廓演化方法集成到基于胶囊网络的协同模型中,增强了协同任务模型对初始值的鲁棒性和执行效率。为了使得识别结果不再过分依赖于目标形状,我们在识别过程中同时使用了图像纹理信息与目标形状信息,进一步提高了协同任务模型的性能和鲁棒性。
其他文献
东北的铝业龙头,顷刻崩塌。  10月15日晚,中国忠旺发布公告,下属的忠旺精制、辽宁忠旺“出现严重经营困难,已无法依靠自身力量解决当前问题”。  辽宁忠旺是忠旺系核心的业务主体,何种经营困难、具体缘由、亏损数额,并无进一步解释。同日,3名独立非执行董事全部辞任。  忠旺于1993年成立于辽宁,是亚洲最大的工业铝挤压产品研发制造商,年营收为200亿元,缔造者为刘忠田。  刘忠田颇为传奇,他本农民出身
期刊
随着消费水平和生活水平的提高,消费类电子市场也在蓬勃发展,在市场的拉动下,消费者对便携式电子设备的要求也越来越高。人们在享受生活时,便携式电子设备由于具有功能多样、方便使用等优点而受到青睐。音频功率运算放大器作为电子产品中的基本器件之一,其性能的好坏直接决定了产品的市场竞争力。目前,如何设计出一款具有低功耗、高性能和体积小等优势的音频功率运算放大器已经成为了研究热点。本文的研究工作主要包括以下两个
姚嘉诚第一次思考植物基食品的意义,是在两年前的一次冥想活动中。  1977年出生于多伦多的他,成长于香港,耶鲁大学毕业后,曾担任纽交所上市公司YEXT的中国业务创始人兼董事总经理。在起源于佛教的瑜伽冥想练习中,他从繁忙的工作中抽离,有了新思考。  “以前我的消费习惯总是从自身出发,但那之后我的目标是一个可持续的、更值得后代继承的世界,我希望投入到一个‘human project’中去。” 现任优脍
期刊
共享充电宝行业进入多强竞争的下半场。  弗若斯特沙利文的数据显示,2021年上半年,竹芒科技、怪兽和小电的点位规模分列共享充电宝行业前三。  竹芒科技是街电、搜电的母公司,2021年4月,两大共享充电宝品牌合并,并组建了该全资控股母公司,董事会由双方的管理团队与投资机构共同组成。  合并前,街电已完成多轮融资,其中包括聚美优品3亿元战略投资,品牌以直营模式覆盖全国超95%城市,总用户数接近3亿;搜
期刊
K12教培在重锤下凉凉,一个教育赛道在迎来利好。  针对义务教育和校外培训,《关于进一步减轻义务教育阶段学生作业负担和校外培训负担的意见》的落脚在负担的减轻。  针对职业教育,10月中旬出台了《关于推动现代职业教育高质量发展的意见》,落脚在高质量发展。这份意见明确提到,鼓励上市公司、行业龙头企业举办职业教育。  两份文件都由“两办”直接印发,代表了最高层的意志,一收一紧,直接左右了两家公司的命运。
期刊
“2015年到2017年,没有同行在做同样的事。”XSKY星辰天合创始人、CEO胥昕回望创业最初3年,公司走了一条艰难、且无法确定是否正确的创业之路,直到2017年,华为等知名厂商进入。  胥昕在接受《21CBR》记者专访时称,“华为把软件定义存储(SDS)当主航道来做,我们是很兴奋的”。他表示,行业巨头入局,说明自己这支“没做过存储”的创业团队,把握准了趋势。  创办于2015年的星辰天合,是一
期刊
随着人们对视觉内容的消费需求越来越高,互联网中视频数据的储量呈爆炸式增长。海量视频的存储和传输消耗着大量的存储和带宽资源。为了降低视频数据量,视频编码方案使用了层出不穷的高效技术以提升编码效率。但是为了支持灵活的随机访问,视频码流中存在着很多随机访问点,它们将码流分割为多段相互独立的随机访问片段。由于不能相互参考,随机访问片段之间的冗余信息无法被有效剔除,以至于不能进一步提升编码效率。
  实际上,在很多视频中,随机访问片段在大跨度的时间间隔内存在着反复出现的背景或对象。为了利用这种大跨度的相关信息
在信息化高度发展的当今社会,视频数据成为了主要的多媒体数据形式。人们对宽色域、高清晰度、高分辨率的视频需求日益高涨,这对视频数据的存储、传输造成极大的负担。应用现状对视频压缩提出了更高的要求,探索更高编码效率的压缩技术成为国内外研究的重点问题。本文致力于提高视频编解码中帧间预测技术的编码效率,并主要从提高运动矢量的预测准确度和提高预测块的预测准确度两个方面着手,主要工作和贡献包括以下几个方面:
  1.提出基于虚拟运动矢量的运动矢量预测机制,解决长期参考机制下运动矢量预测值候选项不足的问题。长时运动
9月,一个普通的周五,上海瑞金医院血液科副主任医师许彭鹏在家休息,手机突然频繁响起,电话、短信、微信不断,患者纷纷询问:120万元一针,能消灭癌细胞的治疗到底是什么?  医院领导也来电说,传言血液科120万元治好了肿瘤,问他究竟怎么回事?医院总机一下子收到上百个咨询电话,问题无一例外:能不能来做CAR-T?  许彭鹏特地下载了抖音,发现“一针120万的抗癌神药”“两个月癌细胞清零”等视频被高赞,一
期刊
随着电商兴起,肥美河蟹和诸多农产品一样,从田间湖泊“爬”到了电商平台。  今年9月中旬,产地直发的长三角大闸蟹,早早就登陆了中国最大农产品上行平台拼多多的“多多丰收馆”。  今年,秋风一起,拼多多就联合江苏省淮安市商务局,启动了洪泽湖大闸蟹开捕季直播。淮安市商务局副局长江汉聪做客拼多多直播间,为60万网友推介洪泽湖大闸蟹的独特风味、历史渊源和发展历程。  随着电商的渗透,蟹农、蟹商的商业模式发生了
期刊