基于云端协同的个性化神经网络框架研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:tsinfang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习领域的快速发展,使用深度学习模型改善认知服务逐渐成为一种趋势。如何在保护用户数据隐私的前提下,基于用户数据在移动设备上为用户训练推断速度快、高性能的深度学习模型用以提供认知服务,成为了亟待解决的问题。先前的研究主要着重于在云服务器上训练高性能的模型为用户提供服务,在边缘服务器对数据进行预处理后再将数据发送至云端完成训练任务,设计新颖的模型结构或采用网络压缩技术以将模型部署在移动设备上,以及利用云端协同共同训练模型提供服务。但是这些方法主要存在以下限制,首先,用户到云服务器的链路较长,难以确保较低的网络链路延迟;其次,用户为享受到个性化的服务,需要上传自己的隐私数据,有潜在的隐私泄露风险;再次,部署在移动设备上的模型更新较为困难;最后,目前基于隐私保护的云端协同框架未考虑到云模型的更新问题。针对上述问题,本文提出了一种基于云端协同的个性化神经网络框架,针对该框架的研究由两个部分组成:(1)基于云端协同的个性化神经网络框架设计。该框架首先在云服务器上利用公开大型通用数据集训练复杂的老师模型,然后将老师模型下发到移动设备,利用用户数据推断得到的软标签指导移动设备上部署的模型训练,最终得到可以直接提供认知服务的学生模型。真实数据的实验结果表明,学生模型拥有比直接训练相同模型更加出色的性能和相对于老师模型更快的推断时间。(2)双向知识蒸馏算法。本文在该框架下提出一种双向知识蒸馏算法,该算法创新性的建立了一条从学生模型到老师模型的知识流向,可以在保护用户隐私前提下,解决云模型无法更新的问题。实验结果表明,该算法可以有效提升云模型的性能,同时更新后的云模型作为老师模型,又使得学生模型可以提供持久的高性能认知服务。
其他文献
现有的关系抽取方法大多使用关系分类模型,其无法有效获取文本中蕴含的新型关系。为了缓解这一问题,开放式关系抽取应运而生。这种抽取方法不需要预先定义待抽取关系的类别,能有效的发现实体间新的关系。但随之带来了两个新的问题:一是,主流的开放式关系抽取模型受制于专家“经验”的局限性,并且预处理工具会导致误差传递,影响抽取精度;二是,开放式关系抽取无法贴合领域进行抽取,抽取出的关系元组不能体现领域背景。本文基
图像篡改是一种恶意破坏网络中传播的图像信息内容的攻击手段,通过多种图像处理技术的综合应用将原本图像中想要表达的信息篡改为有意制造的虚假信息,被篡改的图像被用于视觉欺骗或伪造事实。在网络环境日益便捷的时代背景下,图像被广泛作为信息的载体在网络中快速传播,某些情况下图像甚至作为事实真相的证明在司法领域和生产生活中发挥重要的作用。图像篡改技术的快速发展对网络信息安全产生了极大的威胁,传统的图像篡改检测技
模数转换器(Analog to digital converter,ADC)是连接模拟信号与数字信号的桥梁。在信息处理过程中,模数转换器扮演着非常重要的角色,尤其在高速通信、雷达系统以及医学成像等领域,发挥着重要作用。然而,由于时间抖动以及比较器模糊等局限性,传统的电ADC很难满足现代通信系统对高采样速率和高转换精度这两个主要方面的需求。为了克服这些瓶颈,借助光子技术的模数转换方案成为模数转换领域
随着我国城市化建设的不断演进,事关老百姓日常生活方方面面的电力、燃气、给水、通信等地下管线愈发错综复杂。管线事故频发、故障定位效率低下等问题直接影响了城市基础设施服务的质量,管廊可谓是城市的地下“生命网”、“供给网”。巡检作为管廊运维的重要日常工作,是保证设备正常运行和生产安全的一项基础工作,担负着提前发现隐患、及时做出响应的重要职责。随着人工智能的发展,机器学习等技术给预测性巡检带来了新的机遇。
车辆到车辆的通信在现代通信系统中起着十分重要的作用,车联网系统及智慧交通系统不断发展并需求新的技术,对于车辆通信信道特性的了解程度需求增加,因此对车辆间的通信信道进行合理的建模对于未来的相关研究提供了重要的帮助。在本文中,提出了一个适用性广泛的可应用于sub-6GHz频段的3D非平稳MIMO信道模型,该模型是一个可应用于包含坡道的道路情景的基于几何的随机模型,且该模型在化简后可应用于一般的水平道路
随着信息技术的飞速发展,网络成为了日常生活中重要的数据形式。对网络数据进行分析能够提升节点聚类、社交推荐以及社区发现等现实任务的性能。然而,现实生活中的网络结构稀疏且规模巨大,这使得存储和处理网络数据变得十分困难。因此,学者提出网络嵌入技术来解决数据存储和处理困难的问题。网络嵌入旨在使用低维稠密的向量来表示节点。随着深度学习的不断发展,基于深度学习的网络嵌入算法的性能远优于传统的网络嵌入算法。然而
近些年来,人工智能技术发展迅速,机器人,无人驾驶等领域逐渐走到人们的生活中。同时定位与建图(SLAM,simultaneous localization and mapping)是这些领域的关键技术之一,它尝试解决无人设备的定位以及环境的感知等方面的问题。然而在现实的场景中,存在着一些复杂的场景,比如移动物体较多的动态场景,经常发生变化的场景等,这些环境会使SLAM系统的定位和建图精度下降,从而会
面部动作追踪与动画驱动已经广泛的应用于影视、游戏、娱乐等行业中,主要依赖硬件设备捕捉并提取面部的动作,包括头部姿态、面部表情和眼球方向等,将这些运动参数映射到3D模型中,从而实现人脸动画的驱动。在影视行业中,对准确度的要求非常苛刻,依赖十分复杂的图像采集设备,例如多目或深度摄像头等,并且有需要人工操作的前后期处理过程;相反,应用于娱乐行业的方法,对实时性要求非常高,使用精简的方法仅提取极少的面部动
近年来,区块链技术作为信息化时代的新兴前沿技术,受到了政府及社会各界的广泛关注,目前在很多行业都取得了显著的应用成效。而地勘工作属于数据密集型工作,进一步汇聚共享行业地勘数据,加强地勘行业数据资产管理,是当前地勘工作的重中之重。本文通过研究智能合约、区块链数据结构等关键技术,将区块链技术和地质勘察项目监管工作相结合,设计并实现了一个基于区块链的地勘大数据防篡改子系统。该系统通过执行智能合约,可以将
信息的飞速增长引爆了大数据时代的到来,其中随着通信行业的不断发展,也使得越来越多的电信欺诈出现在用户的日常生活中。电信诈骗已经成为影响人们日常生活的主要诈骗形式,且当下的反欺诈手段较为被动与笨重,无法满足高效反诈的需求,针对电信诈骗的研究迫在眉睫。因此,本文基于电信反欺诈场景下的信令数据与通话文本数据,分别提出反欺诈综合决策识别算法,诈骗模式发现及趋势分析算法,能够高效的进行相应的电信反欺诈识别与