【摘 要】
:
随着机器学习与计算智能的快速发展,面向海量高维数据的神经网络研究成果不断涌现。2018年,华南理工大学陈俊龙教授团队提出一种宽度学习系统(Broad Learning System,BLS)的浅层网络结构。输入BLS的数据经过特征映射与稀疏字典的有效表示生成了映射节点,映射节点再映射生成增强节点。映射节点与增强节点共同组成的宽度平层,经岭回归广义逆的最优连接矩阵共同生成输出。BLS有简捷的网络结构
论文部分内容阅读
随着机器学习与计算智能的快速发展,面向海量高维数据的神经网络研究成果不断涌现。2018年,华南理工大学陈俊龙教授团队提出一种宽度学习系统(Broad Learning System,BLS)的浅层网络结构。输入BLS的数据经过特征映射与稀疏字典的有效表示生成了映射节点,映射节点再映射生成增强节点。映射节点与增强节点共同组成的宽度平层,经岭回归广义逆的最优连接矩阵共同生成输出。BLS有简捷的网络结构与简便的运算方式,可以通过分布的矩阵计算,实现映射节点、增强节点和输入数据有效扩展的增量学习。与传统卷积神经网络(Convolution Neural Networks,CNNs)、深度信念网络(Deep Belief Network,DBM)等结构相比,BLS不仅超参数更少、计算效率更高、且其网络还可实现数据与节点的增量学习。因此,这种新颖的网络得到越来越多的研究人员的重视。本论文主要对宽度学习系统处理不平衡数据和多模态数据两个分类问题进行了深入的研究。(1)处理类别不平衡数据时,提出一种基于Ada Boost集成加权宽度学习系统(Ada Boost Weighted BLS,Ada Boost-WBLS)。宽度学习系统作为一种前馈的单隐层算法网络,处理类别不平衡的数据时,提取到的少数类别特征相比于多数类仍显不足,导致其少数类数据识别分类性能不高。BLS的输出层、输出层与单隐层间映射关系十分简洁,因此在单隐层对应特征上添加权重有效的类别再平衡方式。本文基于KKT(Karush-Kuhn-Tucker)条件,对宽度学习系统添加对角矩阵形式加权的优化过程进行推导,验证了添加对角权重对BLS模型误差的抑制作用。加权宽度学习系统(Weighted BLS,W-BLS)实现添加权重的在线更新与Adaboost集成过程存在较强的相似性,因此使用Adaboost集成W-BLS,提出Ada Boost-WBLS的不平衡数据分类算法,通过迭代实现权重的动态更新,获得更符合数据特征的权重以进一步提升集成模型对少数类的识别能力。权重初始化时,采用基于类别信息的初始化策略,使模型具有更高的集成训练效率。权重更新过程中,不同类别采用了不同的正则化更新方式,以保留数据类内特征并增加类间区分度。分别对Ada Boost-WBLS模型进行了消融实验与对比试验,实验结果证明该模型对少数类的识别能力有显著提升。(2)针对堆栈宽度学习系统输出不明确、堆栈过程缺乏成本管控的问题,提出代价敏感堆栈宽度学习系统(Cost-sensitive Stacked BLS,Cs-Stacked BLS)。堆栈宽度学习系统是一种以堆栈残差逼近,实现最高测试精度输出的模型。但在处理分类任务时,仍存在着分类决策的区分度不足、堆栈过程成本分析不到位的问题。本文以增强决策区分度为目的,基于序贯三支决策提出Cs-Stacked BLS,实现堆栈过程中决策成本、准确率与时间成本的综合评判。并在四个常用分类数据集上进行实验,结果表明Cs-Stacked BLS是一种综合考虑决策风险和过程不确定性的有效网络。(3)针对多模态数据集,提出决策融合Cs-Stacked BLS的多模态分类算法——决策融合代价敏感堆栈宽度学习系统(Cost-sensitive Voting Stacked BLS,Cs-V Stacked BLS)。多模态数据的复杂分类过程是对单模态数据特征有效提取并融合决策的过程。Cs-Stacked BLS作为一种多指标评判的有效算法,具有泛化性能良好,决策过程与结果稳定等优势。但其特征提取过程冗余,因此采用基于敏感加权投票的决策融合方式,使其具备多模态数据分类能力。通过与同类算法对比,验证了新算法对多模态分类复杂问题的有效性。
其他文献
随着社会上科学技术的不断进步,人们的生产生活方式逐渐向着智能化和自动化的方向发展。在气象和航空领域中,随着深度学习技术的不断引入,云团识别、云团分类、云团分割、飞行器自动化航行以及航行线路规划等是领域内专业性较强的问题,如何利用深度学习自动化完成一直是相关研究人员研究的热点。卫星云图中包含着丰富的信息资料,其中所包含的各类云团信息更是在气象和航空领域中天气预测和航线规划的不可或缺的基本资料。针对庞
随着柔性电子器件的发展,柔性传感器的应用范围越来越广泛,其内容包括力传感器、温度传感器、湿度传感器等。近年来,柔性磁场传感器的研究也越来越进入人们的视野。目前大部分磁传感器都是刚性传感器,未来设备要求磁传感器具有出色的柔韧性和可拉伸性,以便适应复杂的检测环境和机械变形,因此对于柔性磁场传感器的研究迫在眉睫。许多研究人员基于压电、摩擦电、应力等不同机制实现了柔性磁场传感器的制备,并对其响应原理进行了
随着经济的快速发展和科技的不断进步,移动机器人在生产生活中扮演着越来越重要的角色,而移动机器人的位姿估计是实现机器人应用必须要解决的关键问题。本文着重研究非高斯噪声下的移动机器人的位姿估计算法,以提高移动机器人位姿估计精度。在同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)框架下,研究内容围绕影响机器人位姿估计精度的后端优化算法和前端点集配
“十四五”规划纲要指出:加快数字化发展,打造数字经济新优势,建设数字中国。数字化必将深刻引领社会变革,数字化落地是当代科研工作者将理论与现实结合的重大使命。全面数字化的实现需要强大的算力中枢和优良的算法系统。图像检索领域的研究是数字化社会的重要内容。如何快速且准确的在海量图像中检索出所需图像是一项具有挑战性的任务,本文在传统图像检索的基础上加以改进,对其经典算法进行深入改良,结合深度学习技术在提取
人机交互是现代计算机技术不断智能化和自动化发展的一个趋势。人机交互是人体通过自己的手势、行为、语音和表情等与计算机进行交流,为人类操控计算机提供了多样且智能的方式。随着现代计算机视觉技术的兴起,基于视觉的人机交互方式成为发展的主流。其中,静态手势识别和动态人体行为识别等技术是新兴的视觉人机交互的重要方式,可以在设备解锁、机器人运动操控等方面提供出色的表现。而且基于卷积神经网络的图像处理技术表现优异
近几年,我国建筑业的规模越来越大,数量越来越多,建筑业也在激烈的市场竞争中不断创新,建筑施工中暖通工程的出现极大地提升了人们生活的舒适度。文章针对建筑工程中的暖通工程在设计方面存在的问题进行简要分析并提出相关解决方法,可供相关人员开展同类工程项目设计时参考。
抓取和放置工件是工业环境下机器人系统的主要任务之一,视觉控制是机器人系统的重要控制手段,采用图像技术对工件进行识别在现代化智能生产线上具有重要的意义。本论文主要以合页为例进行按需搬移任务,可用于机器人打磨前代替人工进行工件摆放,有助于提高机器人打磨生产线的自动化程度和生产效率。本论文主要对散乱堆叠工件的按需搬移过程进行研究,主要研究内容如下:(1)针对目前工业现场弱纹理堆叠工件识别困难的问题,提出
《简·爱》(Jane Eyre)与《呼啸山庄》(Wuthering Heights)作为世界文坛上经典的两部现实主义代表作品,是由英国同胞姐妹作家夏洛蒂·勃朗特(Charlotte Bronte)和艾米莉·勃朗特(Emily Bronte)创作的,虽然说她们所处的社会环境背景与家庭生活背景都一样,但是在这两部文学作品创作过程中却有着明显的不同之处。前者《简·爱》在叙事策略上采用的是单一叙事者
汽车保有量的迅猛增长造成城市交通供需关系的失衡,由此导致的交通拥堵范围日益扩大,已逐步发展成为区域性的拥堵问题。实践证明,新建交通基础设施或实行政策调控等措施都无法真正从根本上解决区域交通拥堵,因此寻求更加合理有效的交通信号控制策略成为研究区域交通拥堵的必然趋势。论文以“基于迭代学习控制的城市交通子区边界控制方法研究”为主题,首先对大规模路网进行了子区划分,并针对实际交通情况研究了在考虑随机扰动以
作为一种急性脑血管疾病,脑卒中已经成为我国第一大致死原因,早期防治和及时诊断对于脑卒中的预防、诊治和预后康复有着重要作用。近年来随着人工智能的不断发展,机器学习方法辅助医疗诊断可以很大程度上减少医生的诊断时间并提高医疗资源的利用率,因此引起了越来越多的关注。脑卒中患者的脑电信号(Electroencephalogram,EEG)和经颅多普勒数据(Transcranial Doppler,TCD)的