信息熵在机器学习算法中的运用

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:kuxinghuajia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代科技的高速发展,人们已经步入了一个大数据时代,机器学习则成为了处理现实中纷繁复杂信息的核心技术手段。但现有机器学习算法依然存在诸多不足之处,而信息熵在机器学习中还有许多待研究的部分。面对股市中庞大的信息量,学者们也加大了将机器学习应用于金融市场的研究力度。以股价涨跌预测为背景,系统性地研究信息熵在机器学习算法中的运用,对机器学习算法的发展、国家金融和科技的发展都有着非常重要的意义。曾有学者针对实际问题提出了基于信息熵的强化学习算法、不确定性数据处理方法等,但信息熵在机器学习算法中的运用仍有很大的研究空间。本文选取了决策树算法、SVM(Support Vector Machine,支持向量机)算法、BP神经网络(Back Propagation Neural Network)、隐马尔科夫算法四种具有代表性的机器学习算法为研究对象,探索了现有研究中信息熵可应用于机器学习的方式,如:用于构建决策树的信息熵、可以用作BP神经网络中损失函数的交叉熵、可以与隐马尔科夫算法结合的最大熵原理等。基于前人的研究,本课题还创新性地结合了信息熵和SVM算法,提出了一种新型组合算法——“信息熵-SVM新型组合算法”,并介绍了这种新型算法的核心思想和操作步骤。为便于测试、对比基于信息熵改进前后的模型的性能,课题设计了股价涨跌预测实验。实验选取了浦发银行、上海机场和中信证券三支股票为标的股票,从股票每天的日交易数据中选取了四个指标作为模型的输入特征,目标是通过机器学习算法预测下一个交易日股价的涨跌情况,从而得到各模型的预测性能,最后对各模型性能进行对比分析。本文使用七种机器学习算法对三支股票进行股价涨跌预测,以预测结果与股票实际涨跌吻合度、F1值、建模所需时间、模型可解释性等为评价指标,通过模型间横向、纵向对比分析,得出了以下结论:(1)信息熵可以增强机器学习算法在实际建模中的可解释性;(2)信息熵可以作为机器学习算法建模时分析和处理数据集的工具,从而有效精简原始数据集,剔除冗余信息,提高模型的预测性能;(3)在特定应用场景中,将交叉熵引入机器学习算法中作为损失函数更为合适;(4)在机器学习算法中运用最大熵原理,可以为算法提供处理规则的方法,提高算法预测的准确度。本论文的研究为后人探索使用信息熵改进机器学习算法提供了参考,也为股市的投资者提供了一些研究股票价格规律的新算法。
其他文献
金属材料在工程上具有广泛的应用,其中铝合金与镁合金作为轻金属在工程界扮演着举足轻重的角色。对于实际工程而言,力学性能是材料选择的一项重要指标。一些重要的工程结构部
自1997年以来,负反馈研究逐渐成为二语习得研究的一个热点。根据数据收集方式的不同,相关研究可大致分为:1)观察式研究;2)实验性研究;3)刺激回忆式研究。本文从上述三个方面
随着人们价值观念和生活方式的转变,传统的旅游模式已经无法满足人们的要求,而文旅融合是当今备受推崇的一种新兴的旅游模式。遂川县作为江西名茶狗牯脑茶的原产地,茶文化历
个人合作建房是我国近几年来出现的一种新现象,全国有数十个大中城市成立了合作建房组织,并创建了个人合作建房网站,部分组织已经进入实施阶段。这一现象引发社会各界广泛的
德彪西和拉威尔是20世纪法国杰出的作曲家,其代表作品对后世产生了重要的影响。德彪西和拉威尔都是印象派音乐的代表,作品都充满印象派主义风格。但是二者的创作特征有一定的
本文第一部分通过对监管进行法理分析,明确了监管主体选择与完善的理论基础与标准。首先,通过对监管的概念介绍,明确监管在法学语境下特指政府及其授权主体的监督、管理行为,
基于粗颗粒盐渍土水泥改良室内溶陷试验,研究了掺加0%、2%、4%、6%及8%水泥的粗颗粒盐渍土在25kPa、50kPa、100kPa及200kPa荷载作用下的溶陷特性,试验结果表明:水泥掺量相同
2011年以来,在青海银监局和海西州政府的指导支持下,海西银监分局积极推进辖内农村信用社商业化改革,取得了积极成效。目前,柴达木农村商业银行已开业运营,格尔木农村商业银行已获
报纸
本期嘉宾:中华医学会健康管理学分会副主任委员 曾 强$$ 现代医学的发展让人们对疾病的认识日趋深入,诊断技术、治疗手段也日渐完善。只是现代医学的重点更多放在了已经发生的
报纸
国务院发展研究中心产业经济研究部研究室主任魏际刚近期撰文指出,平台是一种为供需及相关主体提供连接、交互、匹配与价值创造的媒介组织,是一种基于数字化技术的新型资源配