基于MobileNetV2和DeepLabV3+的Android人像背景虚化系统

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:astanaZH
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今人们越来越多地使用手机进行拍照,人像背景虚化系统是目前手机拍照领域的一大热门研究方向。背景虚化效果通常通过手机多摄像头镜头之间的叠加完成,但多摄像头为手机机身重量带来了更多负担,增加了手机制造成本,对于用户来说便增加了手机购买价格。因此本文依托某手机单摄像头人像背景虚化项目,借助神经网络算法完成Android手机人像背景虚化系统。本文实现并训练人像分割模型,利用移动端算法移植框架对其进行移植并部署到手机本地,使用户在无网络的状态下也能随时使用本系统,降低网络延迟并很好地保护用户的隐私。本文具体研究内容如下:(1)本文使用DeepLabV3+网络作为人像分割模型的整体网络架构,对其进行的改动为将DeepLabV3+的主干网络部分Xception替换为轻量化网络MobileNetV2,并为MobileNetV2网络添加空洞卷积。在2312张图片训练集上进行训练,loss最终收敛于0.115,在450张图片测试集上达到了0.889m Io U。(2)本文利用MACE与Tensorflow Lite两种移动端算法移植框架对训练好的人像分割模型进行移植并将其部署到Android端。MACE使用Bazel与CMake编译工具将模型编译为动态库,利用JNI调用模型预测推理。Tensorflow Lite使用Tensorflow接口将模型转换为tflite格式,导入至Android端资源文件夹assets,直接利用Android接口调用模型预测推理。(3)本文利用Android Studio构建Android客户端,在Android端利用Renderscript完成后续背景虚化处理。输入图片经过移植好的人像分割模型预测推理得到人物部分为白背景部分为黑的mask图,编写Renderscript脚本对原图和mask图进行处理,最终得到完整的人像背景虚化图。(4)本文测试人像分割模型移植部署后的效果,在预测推理效果方面,移植后预测推理出的mask图与原模型预测推理出的mask图两者的m Io U为0.878-0.943;在耗时方面,移植后的模型预测推理处理耗时为198-530ms;在资源占用方面,移植后的模型预测推理CPU占用为10%-40%,内存占用为24M-53M。经过完整测试,本文实现的人像背景虚化系统效果良好,整体运行时间在3s以内,整个过程无需将图片上传到网络,很好地保护了用户的隐私,系统具有一定的反编译能力和良好的实用性。
其他文献
目的随着科学技术的不断发展,越来越多新型的检测技术随之涌现,然而高灵敏度、精密度的仪器对环境要求严苛且价格昂贵,大多数实验室无法满足需求,因此开发一种廉价、方便的检
细粒度图像分类是指从一个大类中区分出不同的子类,在商品检索、车辆识别、花卉识别和医疗图像识别等方面具有广泛的应用前景。细粒度图像识别不同于一般的通用物体识别,其类
无人机的可控移动性、部署灵活性和对环境的快速适应性,使得无人机成为无线通信领域的一项关键技术,引起了国内外学者的广泛关注。本论文首先研究了无人机作为空中基站,减少对地面用户的干扰,增大网络吞吐量的问题。然后研究了由无人机辅助无线传感网络收集传感器的数据,保证收集数据新鲜度的问题。由于与无人机通信相关的资源优化问题不仅与通信参数有关,还与无人机的飞行轨迹和能量有关,往往是NP难的,传统的优化方法难以
1947年12月,云南决定发起大规模游击战争,配合人民解放军进行战略反攻。隐蔽在缅甸的朱家璧、张子斋回国领导开展圭山、西山武装斗争。1948年3月,朱家璧在弥勒西山将部队组建
“推进国家治理能力和治理体系的现代化”第一次在我国被提出是在党的十八届三中全会上,这次会议发布的文件中也首次提到了实行严格的严绩效管理。作为重要职能部门的税务机关,是国家治理体系中很重要的一部分,从2014年7月1日起,税务部门开始探索并在全国税务系统逐步推行绩效管理,研发了绩效管理专门的信息系统,经过几年的运行,显现了一定的成效。现阶段,如何借助征管体制改革的机遇,做好绩效管理的融合与发展,成为
与第四代移动通信技术(LTE)相比,5G通信技术具有更大带宽、更低时延、更高速率及更强连接能力,但功耗问题也更加凸显。移动设备上的基带芯片是实现5G通信技术的关键环节。针对5G超大网络流量及传输速率所导致的功耗问题,5G基带芯片的低功耗研究具有重要研究价值。而存储器在如今基带芯片设计中占比已达60%,为了降低5G基带芯片的功耗,对存储器低功耗技术的研究对5G基带芯片设计更是显得尤为重要。为平衡功耗
随着我国经济快速发展,行业之间竞争越加剧烈,房地产行业作为我国的支柱性产业受到外界环境和国家政策等多重因素影响,正面临着较大的压力,而国内的大多数房地产企业经营方式
中国云计算市场经历了大概10年左右的快速增长,在Iaas基础设施整合,Paas平台能力突变,Saas软件产品的丰富后,云计算和云服务不断得到宣传、推广和商用。近年来大量需要及时满
随着现代无线通信技术的飞速发展和各种电子终端设备数目的急速增长,越来越多的通信频段被占用,使得本来有限的频谱资源更加紧张。为了满足更多的用户需求,必须追求更高的频谱效率,而提升频谱效率的同时往往会增加相近频段之间的信号干扰。通过在系统中加入滤波器,可以消除无用信号对通信系统的干扰,但随之带来的代价是系统尺寸的增大和损耗的增加。另外,由于MIMO(多输入多输出)技术在5G移动通信系统中的大量应用,天
近年来,我国商业银行的个人消费信贷产业发展迅猛,截至2014年年底,个人消费信贷业务总规模已达153759.45亿元,同比2013年增长18.4%。各商业银行在追逐高收益的同时,不得不面