【摘 要】
：
近年来神经网络技术发展迅猛,逐渐应用在一些智能产品中。在很多时候,神经网络需要实现真正的落地,才能发挥它的价值。然而现实中的使用场景复杂多变,这对神经网络来说是不小的挑战。为了满足这样的需求,神经网络的泛化能力必须足够强,才能够适应真实的应用场景。由于提高神经网络的泛化能力具有现实意义,现在已经成为许多研究者所关注的问题。本文从模型和数据角度出发,展开对神经网络泛化能力的研究。为了能够提高神经网络
论文部分内容阅读
近年来神经网络技术发展迅猛,逐渐应用在一些智能产品中。在很多时候,神经网络需要实现真正的落地,才能发挥它的价值。然而现实中的使用场景复杂多变,这对神经网络来说是不小的挑战。为了满足这样的需求,神经网络的泛化能力必须足够强,才能够适应真实的应用场景。由于提高神经网络的泛化能力具有现实意义,现在已经成为许多研究者所关注的问题。本文从模型和数据角度出发,展开对神经网络泛化能力的研究。为了能够提高神经网络的泛化能力,本文提出了基于多头注意力的方法以及多域度数据增强的方法。本文主要研究内容如下:（1）提出了一种基于多头注意力提高神经网络泛化的方法。该方法首先根据多头注意力机制从多个LSTM网络结构中挑选出与输入任务联系较大的LSTM,然后采用Mask矩阵根据注意力得分进行选择性激活。激活的LSTM可以读取其他LSTM的信息,完成信息交流。在此过程中保留了与任务相关的信息,提取到任务中普遍性的特征,神经网络具有更强的泛化性能。在对比传统并行LSTM的实验中,该方法在4种数据集的平均测试误差比传统方法低约1.39%。另外实验对比了相关研究,该方法在4种数据集的平均测试误差比次优的算法低约0.21%,并且在加噪情况下的平均测试误差也比次优算法低约0.73%。理论分析和实验表明,该方法能够有效地提高神经网络泛化能力。（2）在语音识别相关的数据增强方法中,大多采用常规数据增强的方法。常规方法通常是从时域上进行数据增强,但是语音数据的频域研究更为重要。于是,本文提出一种多频度数据增强的方法。首先对数据集采用4种时域数据增强的方法,然后进行3种频谱加噪及频谱掩盖方法。该方法改变了数据的结构分布,有益于神经网络学习到一般性的特征,从而能够提高神经网络的泛化能力。实验证明该方法的泛化误差比其他方法的平均值低约2.76%,显著地提高了神经网络的泛化能力。
其他文献
自从2004年科研人员成功获得单层石墨烯后,石墨烯因其独特的晶体结构和优良的电学、光学、热学性质引起了基础研究领域科研人员的广泛关注。正是因为石墨烯拥有如此多的优异性质,也掀起了科研界对其它低维材料的研究热潮。黑磷、二硫化钼、二硒化钼以及二碲化钨等新兴二维材料的成功合成或剥离,大大丰富了二维材料的家族,也使得二维材料在电子、信息、能源等领域大放异彩。WTe2作为二维材料家族的一员,除了拥有大多数二
近年来,模拟集成电路高速发展。模拟开关已经扩展到了许多的领域,例如医疗器械、音频播放器、高速存储类的接口等。模拟开关不仅在生活领域经常被使用到,在军事、航天航空领域也离不开。模拟开关以其易于集成化、功能强而受到大众的欢迎。模拟开关是控制信号的导通和关闭,追求将信号完好的传输,这就要求模拟开关的性能要好。设计时,需要考虑模拟开关的信号传输频率,要适应高速的信号传输。还要考虑信号通道之间的匹配度、减小
卤化铅钙钛矿材料由于其具有较高的光吸收系数、合适的能带结构、较长的电子空穴扩散长度以及较长的载流子寿命等优势,是太阳能电池中理想的吸光材料。自钙钛矿材料首次引入到太阳能电池中以来,在短短十年时间内,钙钛矿太阳能电池的光电转换效率（PCE）从3.8%提高到25.5%,这一效率甚至可以与传统的商业太阳能电池（如晶体硅、Cu In Ga Se和Cd Te太阳能电池）相媲美。通常,钙钛矿太阳能电池由电子传
随着便携式产品的迅速普及,芯片的数字化程度在不断提高,功耗和电源电压在持续降低。为了满足市场对电源管理系统的需求,如何减小面积、降低功耗、保持输出稳定、提升电源效率是当今电荷泵（CP）研究设计的热点。本文基于适应于低压条件下的四相时钟电荷泵电路,从两个方面对电荷泵性能进行提升,一是提高效率,二是提高启动速度。本文设计的四相时钟电荷泵电路采用动态偏置电路消除升压过程中体效应带来的影响。本文的创新点有
锂离子电池（LIBs）是目前商业化最为广泛的二次储能器件。由于钠储量丰富、价格低廉,钠离子电池（NIBs）在高比能密度便携电源和动力电池等领域显示出诱人前景。设计综合性能优异的新型负极材料是锂/钠离子电池技术快速发展的关键之一。Sn基硒化物/氧化物因理论容量高、电压窗口合适等优势而受到研究者们的广泛关注。然而,充放电过程的转化-合金化反应引起的再结晶和应变将导致活性位点减少,且易造成电极材料粉碎并
生成对抗网络（Generative Adversarial Networks）在合成真实图像和建模方面取得了巨大的成功,它被广泛应用于领域自适应、图像视觉计算、语言处理等方面。在有监督的机器学习或深度学习中,标注样本太少会导致构建的模型易于过拟合、表示能力和泛化性不强。实际中想要获取大量标注样本非常困难且不现实。生成对抗网络在图像生成方面已比较成熟,但是现有生成对抗网络存在不稳定性、模式崩溃和计算
排序学习作为一种基于机器学习与信息检索的交叉技术,已经广泛地应用于Web搜索、文档检索、推荐系统、问答系统等多个领域。排序学习会根据不同的排序学习数据集（即构造相异特征）和排序学习方法训练出不同的排序模型,以对新输入目标列表进行排名预测。随机森林作为一种基于bagging的集成技术,已被证实在中小规模数据集上具有极其优秀的预测性能。基于此,本文通过研究基于随机森林的排序学习方法并应用在自制电影及公
上转换发光的概念自提出以来就受到了广泛的关注,由于其独特的发光特性,一直是人们研究的热点。上转换材料在生物、激光、防伪技术、三维显示和光伏电池等领域应用广泛,发展迅速。光伏电池作为利用太阳能的一种有效手段,近年来得到了长足的发展。但是太阳能电池普遍存在光电转换效率较低的不足。上转换发光作为一种光子频率转换手段,可用于提高光伏电池对于近红外光子的利用率,对此人们进行了大量的相关研究。由于Er3+,H
静电放电（Electrostatic Discharge,ESD）是影响集成电路可靠性的重要因素,随着集成电路制造工艺的发展,ESD保护面临重重问题与挑战。本文主要研究嵌套技术在对称双向可控硅（Dual-Direction Silicon-Controlled Rectifier,DDSCR）、非对称双向可控硅（Asymmetric Silicon-Controlled Rectifier,ADD
石墨烯的发现与制备使得二维材料逐步进入人们的研究视野,并逐渐成为科学研究焦点。二维黑磷是一种具有直接带隙的半导体材料,以其独特的机械性能、光电特性在光电器件、光学传感器等领域运用广泛。受黑磷优异特性的影响,二维V-V二元化合物材料锑化磷（SbP）也得到了人们的关注,SbP被人们发现具有优良的物理特性,并且其稳定性优于黑磷。同时,为了更好地扩展SbP的应用领域,可以采用一定的手段来提高它的物理、化学