泛化界正则项:理解权重衰减正则形式的统一视角

来源 :计算机学报 | 被引量 : 0次 | 上传用户:nayinian2688
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经验风险最小化(Empirical Risk Minimization,ERM)旨在学习一组模型参数来尽可能地拟合已观测到的样本,使得模型具有基础的识别能力.除了ERM,权重衰减(Weight Decay,WD)对于进一步提升模型的泛化能力,即对未观测样本的精准识别也非常重要.然而,WD的具体形式仅仅是在优化过程中不断缩小所学习的模型参数,这很难与提升泛化能力这个概念直接地联系起来,尤其是对于多层深度网络而言.本文首先从计算学习理论(learning theory)中的鲁棒性(robustness)与泛化
其他文献
招标工程量清单和控制价的编制质量直接影响建设工程项目投资控制效果.以中国民航大学新校区一期工程为例,该项目采用全过程工程咨询模式,同时实施全过程跟踪审计.在招标阶段,实施工程量清单和控制价背靠背编审.通过招标阶段的实践做法,研究得出工作要点,包括:建立沟通机制,共享基础资料;明确招标方案,划定风险范围;统一编制原则,重视编制依据;圈定品牌档次,摸底市场价格;加强设计管理,注重过程控制.
在上海市某动迁安置住宅小区装配式建筑在剪力墙PC构件灌浆施工关键工序质量控制监督过程中,通过对剪力墙PC构件GTQ4Z-16、GTQ4Z-18套筒灌浆工程质量预控监理措施及监理控制成效分析,探论目前如火如荼的装配式建筑施工中套筒灌浆这一关键工序的施工质量监理控制措施.
在各个行业都在积极应用高新技术、谋求创新发展的情况下,建筑行业也不甘人后,对专用于建设项目的 BIM技术进行了合理应用,而BIM技术也凭借优越的技术特点在建设项目施工建设中得到迅速推广应用.以BIM技术在建筑施工管理中的应用为主要内容,着重分析用于建筑施工管理的BIM技术类别、BIM技术在建筑施工管理中的应用优势以及应用途径,与相关人士交流讨论.
以监理视角,结合某污水处理厂30万t升级改造工程,在生物池改造部分中使用MBBR工艺的案例进行介绍,分析MBBR工艺的质量控制,望能对同类工程采用MBBR工艺时的设计及施工有所帮助,同时也希望对设备安装监理工作提供一些思路、方法和解决问题的经验、技巧.
通过总结盐城市铁路综合客运枢纽道路工程施工质量控制的监理工作经验,介绍了大型复杂的综合体工程施工质量管控的工作思路,提出了施工质量控制的管理手段和控制方法.对当前铁路综合客运枢纽的质量工作有一定的借鉴意义.
盾构隧道中盾构机是整个隧道工程施工的重点,特别是现如今超大直径盾构越江、越海隧道的建设,对盾构机的性能提出了更高的要求.通过对盾构机再制造的动静态勘验、再制造、监造以及验收等等内容进行梳理总结,提出了相关建议及措施,为类似的盾构机再制造工程提供参考.
在大型建设项目的 钢结构工程中,钢结构底部或承重柱的柱顶都有支承荷载的预埋件和锚栓,此预埋施工质量和精度允许偏差控制,是很重要的关键施工工序之一,是直接涉及整个钢结构安装质量安全的首要条件.通过对实际经验的总结,较详细地叙述了施工前、后过程中的一些顺序、方法和管控要点,以期为同类施工提供经验.
针对微博文本以实现谣言检测为目标,深度挖掘微博正文内容的语义信息,并且着重强调用户在微博评论中体现的情感倾向性,提升谣言识别效果。为提高谣言检测的准确率,采取基于XLNet的词嵌入方法,使用Transformer的Encoder的模型提取微博正文内容的语义特征,并结合BiLSTM+Attention网络实现微博评论的情感特征的提取,将2种特征向量进行拼接融合,进一步丰富神经网络的输入特征,之后输出微博事件的分类结果,进而实现微博谣言检测。实验结果显示,该模型对谣言识别的正确率达到94.8%。
高性能语义分割算法由于自身高延迟性存在无法快速感知路况的问题。本文提出一种基于注意力机制的双路径网络模型。该网络模型采用轻量的局部轮廓信息提取模块和语义信息提取模块来替代复杂的编码器结构。针对不同路径下特征图的特点,分别基于自注意力和通道注意力机制设计特征优化模块,该算法可有效地提高轻量网络结构对细节特征的表达能力。设计的语义分割网络以25 fps的速度处理图像的同时,可保持73.9%的平均交并比。经实物验证,表明本文算法具备实时性,具有一定的实际应用价值。
随着移动传感设备的快速发展,移动群智感知已经成为城市数据收集的一项重要模式.用户招募——招募进行数据收集的用户——是移动群智感知中的重要一环.现有的研究主要集中在静态的用户招募,对动态的用户招募研究还比较少.因此,本文提出了一个基于前向搜索和投票的动态用户招募方法,该方法能够很好地综合多个因素,从而做出更优的招募决策.除此之外,本文还设计了一个新的数据均匀程度指标来更好地评估数据的质量.基于真实世界的Foursquare用户数据的实验结果表明,相比于基准方法,本文的方法能够收集到均匀程度更高的数据.