逻辑回归算法改进及基于TensorFlow并行化研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:chinajiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据分类作为数据挖掘中一个重要的分支,如今已经成为大数据时代的研究热点。逻辑回归是一种重要的机器学习分类算法,凭借其模型简单、训练高效、对线性数据拟合程度高等优点,在互联网、医疗、金融等领域有着广泛的应用。求解逻辑回归算法中的损失函数通常使用梯度下降这种迭代算法。在不同的梯度下降法中,小批量梯度下降法因其出色的性能被更加广泛地应用。传统的小批量梯度下降法中采用固态学习率,其缺点是在算法训练过程中,始终不变的学习率可能会导致算法的损失函数无法收敛到最优值,使得算法的训练效率和分类精度都会受到影响,在如今样本数据规模越来越大的情况下,无法满足需求,因此本文一个研究方向是对算法进行改进。另一方面规模越大的数据集对逻辑回归算法的训练速度有着越高的要求。随着GPU硬件技术的发展,越来越多的研究集中在GPU通用计算领域上。这为逻辑回归算法运算加速提供了方向。Tensor Flow作为时下十分流行的机器学习框架,十分支持对GPU的调用,这也为实现逻辑回归算法在GPU上的加速提供了合适的平台。论文针对以上两个问题,主要完成如下两方面工作:(1)针对小批量梯度下降法中采用固态学习率方法进行改进,提出了一种学习率余弦变换的改进方式。该改进方法首先选取合适的学习率范围,让学习率在取值范围内按照余弦函数变换的特点进行变换,从而使学习率在训练的不同时期以不同速率逐渐减小,达到逻辑回归损失函数收敛更快、收敛值更优的效果,提高逻辑回归算法的训练效率与分类精度。同时加入数据重排、正则化惩罚方法等模块使得逻辑回归算法模型具有更好的泛化能力。实验结果表明改进后的逻辑回归算法具有更好的训练效率与分类精度。(2)结合GPU强大的矩阵运算能力和Tensor Flow平台对GPU的支持,设计了基于Tensor Flow平台的两种逻辑回归算法并行方法,分别是单机单GPU并行和单机多GPU并行。设计思路是先将逻辑回归算法向量化,将复杂的矩阵运算通过Tensor Flow分配到GPU进行计算。单机单GPU采用模型并行方法,单机多GPU采用数据并行和模型并行相结合的方法。实验中,两种并行方法在大规模数据集上都有着十分显著的加速效果。本文从逻辑回归算法的改进出发,提高算法训练效率和分类精度,同时通过Tensor Flow实现算法并行化,加快算法运行速度,具有一定的研究意义和实用价值。
其他文献
本文中我们采用密度泛函理论(DFT)的B3LYP方法,在6-311+G*和LANL2DZ水平上对碳基混合团簇GaCn/GaCn+/GaCn-(n=1-10)的磁性和极化率进行了研究,计算结果发现,除了GaC2/GaC2+/GaC2-
唐代单篇传奇的命名学界多有讨论,然囿于一城一池,未能综合考量不同文献之义例而斟酌之。其实,《太平广记》与《类说》所录《异闻集》各有义例。如二书共同引录之篇目中,六篇
期刊
近10年来新新贸易理论产生并发展繁荣,但大量文献集中于制造业研究。文章对近年该理论在农业的运用进行了回顾,从其对农产品贸易的适用性、农业主体出口参与决策、农产品贸易
目的:分析超声介入活检在乳腺叶状肿瘤中的临床应用价值。方法:选取某院收治的乳腺叶状肿瘤患者44例作为研究对象,所有患者均接受超声介入活检诊断,观察患者的影像学表现,并将
目前,对各种话语类型的研究已经成为近几十年形成的最具价值的语言学研究方向。由于是一门新兴的语言学科,话语分析尚未形成一种能为所有话语权威人士所共享的研究方法。其主要研究方向是在几个主要学者及其追随者的研究基础上形成的,以Halliday的系统功能语法(SFG),T.Van Dijk(1995,1996,1997,1998,1999,2001)、Ruth Wodak(1987,1989,1995,1
基于压汞实验,以准噶尔盆地南缘低煤阶煤样为切入点,建立分形模型,表征煤储层孔隙的分形特征。结果表明:准南煤样孔隙度均值为6.29%,渗透率均值为0.05 m D,孔隙分形维数D=2.7
光镊技术使用激光束对尺度在微米或者纳米量级的微粒进行非入侵式的捕获和操控,不会对微粒产生机械式损坏与伤害,因而几乎不会影响生物粒子的周围环境。加之生物微粒本身对光
四川省委提出“走出内陆盆地,迈向发展高地”的方针,从实施“宽带中国”战略到开启“互联网+”行动计划;从组织“光网四川”建设到“数字四川”的飞速发展,一系列动作显示出,
目的:比较脑电生物反馈和利他林治疗不同亚型ADHD儿童的疗效。方法:将120例ADHD患儿随机分为2组,分别给予利他林和脑电生物反馈治疗。采用SNAP-Ⅳ量表分别于治疗前、治疗结束、
【正】 一、演员初读剧本的问题我在初读剧本和初听作者朗读剧本时,大概有以下几种情况。第一种情况是一见如故。戏里写的人物是我的“熟人”。象《龙须沟》就是这样,那里面