论文部分内容阅读
[摘 要]深度学习使机器学习得到实际应用，为达到人工智能的目标开辟一条途径。语音识别技术、推荐系统和邮件反垃圾邮件系统相继出现，人工智能既是现在又是未来。深度学习使AI在科幻小说中的场景得以实现。本文简要介绍了深度学习的基本理论和思想，并在近年来中国深度学习的发展研究。最后，充分利用其优势，将人工智能应用到日常生活的各个方面，从而提高整体生活质量。
[关键词]深度学习；数据处理；卷积神经网络；预防检测
中图分类号：TP181 文献标识码：A 文章编号：1009-914X（2018）22-0340-01
1 引言
alphago第一个人工智能程序击败专业棋手赢得国际象棋世界冠军，由Demes Hassabis领导的研究小组研发，主要原则是“深度学习”。人工智能程序体现了机器学习的能力，同时将深度学习拉到大众的视野面前。
2 深度学习介绍
深层学习是机器学习的一种方法，关键是建立和模拟人脑的神经网络进行分析和学习，以便解释各种类型的数据，如语音、图形和文本。
2.1 深度学习历史
2.1.1 第一代神经网络
1943年的MCP人工神经元模型是最早的神经网络的思想，MCP将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。
1958年Rosenblatt发明的感知器算法。该算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。
1969年，美国数学家Minsky证明了感知器本质上是一种线性模型，只能处理线性分类问题。直接宣判了感知器的死刑，神经网络的研究也陷入了停滞状态。
2.1.2 第二代神经网络
1986年，决策树方法被提出，到目前仍然是非常常用的一种机器学习方法。
1995年，统计学家Vapnik提出的线性支持向量机方法。由非常完美的数学理论推导而来（统计学与凸优化等），符合人的直观感受。
2000年，核化的线性支持向量机方法被提出，核化的线性支持向量机方法通过一种巧妙的方式将原空间线性不可分的问题，通过内核映射成高维空间的线性可分问题，成功解决了非线性分类的问题，且分类效果非常好。
2.1.3 第三代神经网络
这一阶段分为两个时期：快速发展期和爆发期。
快速发展期
2006年，Hinton提出了关于深层网络训练中梯度消失问题的解决方案。其主要思想是通过自学习的方法自动学习训练数据的结构，然后对结构进行有监督的训练和精细的调整。
2011年，激活函数的ReLU能有效抑制梯度消失的问题。
2011年，微软首次将DL应用在语音识别领域，取得了重大突破（图1）。
2013，2014，2015年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步，促使其在其他领域也在不断的征服战场
2015年，Hinton，LeCun，Bengio论证了局部极值问题对于DL的影响，结果是较少的局部极值问题对于深层网络来说影响可以忽略不计。
2015，DeepResidualNet发明分层预训练。设计了一种具有较强单元映射能力（或接近单元映射）的DL网络，极大地提高了DL网络的表达能力。此方法能够很轻松的训练高达150层的网络。
2.2 深度学习模型
2.2.1 卷积神经网络
卷积神经网络（Convolutional neural networks，简称CNNs）。基于深度的监督学习下的一种机器学习模型，现已成功应用于识别图形等领域。
2.2.2 深度置信网络
深度置信网络（Deep Belief Nets，简称DBNs）。基于无监督学习下的一种机器学习模型。
2.3 深度学习特点
1）深層学习只需要一个简单的网络结构来实现对复杂函数的逼近，以及从大量未标记样本中学习数据集的基本特征的能力。2）深度学习能够获得可更好地表示数据的特征，同时由于模型的层次深、表达能力强，因此有能力表示大规模数据。
3 深度学习现状
深度学习极大地促进了机器学习的发展，收到世界各国相关领域研究人员和高科技公司的重视，语音、图像和自然语言处理是深度学习算法应用最广泛的三个主要研究领域：
3.1 语音识别领域
基于深度学习的语音识别技术与传统技术相比有了很大的进步。目前，基于深层学习的语音识别技术已基本达到实用化水平。远场识别的误差率约为近场的2倍。因此，如何解决远场语音识别和强噪声干扰是有待进一步研究的问题。
目前，基于深度学习的语音识别技术在语音识别系统的训练过程中较为复杂。因此，研究更简单、更准确的端到端语音识别技术是未来的研究方向。
3.2 图像识别领域
在图像识别的深度学习的最重要的进展是在ImageNet图像分类任务ilsvrc挑战。在该测试集上，传统方法的最低错误率为26.172%。2012年Hinton的团队使用的卷积网络降低错误率为15.315%。在2014年ilsvrc2014竞争中，获胜的goolenet下降错误率为6.656%。
深层学习在图像识别中的重要突破是人脸识别。人脸识别的难点是如何区分光照、年龄、姿势等主观因素引起的类内变化。2013，以人脸识别任务作为监控信号，利用卷积网络学习人脸特征，得到92.52%的识别率。2014，CVPR，DeepID和DeepFace获得97.45%和97.35%的识别率。DeepID将人脸识别和人脸识别为监控信号，得到最小的类内变化的面部特征，所以，在LFW人脸识别率提高到99.15%。在后续工作中，通过增加网络结构、增加培训数据、增加各级监控信息等手段进一步改进了网络结构，实现了99.47%的识别率。
3.3 自然语言处理领域
自然语言处理的传统方法是基于统计模型，但在自然语言处理领域却从未受到重视。美国NEC研究所将首先介绍自然语言处理的深度学习的概念来研究，从2008年开始的词汇映射研究一维向量空间和多层卷积结构解决分词、词性标注、命名实体识别和语义角色标注自然语言处理的四个典型问题。建立了一个网络模型来解决这四个问题，结果比较准确。总之，深度学习在自然语言处理上取得的成果仍有待进一步的研究。
4 未来应用
4.1 计算机视觉
生物特征识别：人脸识别、步态识别、行人ReID、瞳孔识别；
图像处理：分类标注、OCR、场景分割、车辆车牌、以图搜图、AR；
视频分析：智慧城市、安防监控；
4.2 自然语言处理
语音识别、文本数据挖掘、文本翻译及理解；
4.3 数据挖掘
推荐系统、天气数据、推荐系统、搜索引擎、知识库、潜在犯罪预测、金融机构的风险评估系统、反诈骗系统；
4.4 复合应用
无人驾驶、无人机、机器人；
4.5 生物科学
识别动植物种类、识别血液中的癌细胞特征、识别MRI扫描图片中的肿瘤、人体基因序列分析、蛋白质结构预测；
总结
未来的深层学习发展领域应集中在迁移学习、强化学习、无监督学习水平上。在应用领域，人工智能将在很大程度上推动深层学习的发展，也许在将来，一个真正的智能代理将诞生。
量子计算机，超级大脑，大脑和其他科学和技术的大量注入了强大的恒星系统支持全球技术在人才和资本投资领域也将继续提供无限的动力，如果AI目前在海洋中的冰山一角，如果未来的技术，支持在领域的一个突破。将带来生产力的新变化，简言之，科学技术是第一生产力。
参考文献
[1] 李波.《基于特征优化的选择性集成学习算法》中国科学技术大学，2013.
[2] 陈先昌.《基于卷积神经网络的深度学习算法与应用研究》，2013.
[3] 刘凡齐.《我国拓展训练行业现状调查及对策分析》华东经济管理221006，2007.
[关键词]深度学习；数据处理；卷积神经网络；预防检测
中图分类号：TP181 文献标识码：A 文章编号：1009-914X（2018）22-0340-01
1 引言
alphago第一个人工智能程序击败专业棋手赢得国际象棋世界冠军，由Demes Hassabis领导的研究小组研发，主要原则是“深度学习”。人工智能程序体现了机器学习的能力，同时将深度学习拉到大众的视野面前。
2 深度学习介绍
深层学习是机器学习的一种方法，关键是建立和模拟人脑的神经网络进行分析和学习，以便解释各种类型的数据，如语音、图形和文本。
2.1 深度学习历史
2.1.1 第一代神经网络
1943年的MCP人工神经元模型是最早的神经网络的思想，MCP将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。
1958年Rosenblatt发明的感知器算法。该算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。
1969年，美国数学家Minsky证明了感知器本质上是一种线性模型，只能处理线性分类问题。直接宣判了感知器的死刑，神经网络的研究也陷入了停滞状态。
2.1.2 第二代神经网络
1986年，决策树方法被提出，到目前仍然是非常常用的一种机器学习方法。
1995年，统计学家Vapnik提出的线性支持向量机方法。由非常完美的数学理论推导而来（统计学与凸优化等），符合人的直观感受。
2000年，核化的线性支持向量机方法被提出，核化的线性支持向量机方法通过一种巧妙的方式将原空间线性不可分的问题，通过内核映射成高维空间的线性可分问题，成功解决了非线性分类的问题，且分类效果非常好。
2.1.3 第三代神经网络
这一阶段分为两个时期：快速发展期和爆发期。
快速发展期
2006年，Hinton提出了关于深层网络训练中梯度消失问题的解决方案。其主要思想是通过自学习的方法自动学习训练数据的结构，然后对结构进行有监督的训练和精细的调整。
2011年，激活函数的ReLU能有效抑制梯度消失的问题。
2011年，微软首次将DL应用在语音识别领域，取得了重大突破（图1）。
2013，2014，2015年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步，促使其在其他领域也在不断的征服战场
2015年，Hinton，LeCun，Bengio论证了局部极值问题对于DL的影响，结果是较少的局部极值问题对于深层网络来说影响可以忽略不计。
2015，DeepResidualNet发明分层预训练。设计了一种具有较强单元映射能力（或接近单元映射）的DL网络，极大地提高了DL网络的表达能力。此方法能够很轻松的训练高达150层的网络。
2.2 深度学习模型
2.2.1 卷积神经网络
卷积神经网络（Convolutional neural networks，简称CNNs）。基于深度的监督学习下的一种机器学习模型，现已成功应用于识别图形等领域。
2.2.2 深度置信网络
深度置信网络（Deep Belief Nets，简称DBNs）。基于无监督学习下的一种机器学习模型。
2.3 深度学习特点
1）深層学习只需要一个简单的网络结构来实现对复杂函数的逼近，以及从大量未标记样本中学习数据集的基本特征的能力。2）深度学习能够获得可更好地表示数据的特征，同时由于模型的层次深、表达能力强，因此有能力表示大规模数据。
3 深度学习现状
深度学习极大地促进了机器学习的发展，收到世界各国相关领域研究人员和高科技公司的重视，语音、图像和自然语言处理是深度学习算法应用最广泛的三个主要研究领域：
3.1 语音识别领域
基于深度学习的语音识别技术与传统技术相比有了很大的进步。目前，基于深层学习的语音识别技术已基本达到实用化水平。远场识别的误差率约为近场的2倍。因此，如何解决远场语音识别和强噪声干扰是有待进一步研究的问题。
目前，基于深度学习的语音识别技术在语音识别系统的训练过程中较为复杂。因此，研究更简单、更准确的端到端语音识别技术是未来的研究方向。
3.2 图像识别领域
在图像识别的深度学习的最重要的进展是在ImageNet图像分类任务ilsvrc挑战。在该测试集上，传统方法的最低错误率为26.172%。2012年Hinton的团队使用的卷积网络降低错误率为15.315%。在2014年ilsvrc2014竞争中，获胜的goolenet下降错误率为6.656%。
深层学习在图像识别中的重要突破是人脸识别。人脸识别的难点是如何区分光照、年龄、姿势等主观因素引起的类内变化。2013，以人脸识别任务作为监控信号，利用卷积网络学习人脸特征，得到92.52%的识别率。2014，CVPR，DeepID和DeepFace获得97.45%和97.35%的识别率。DeepID将人脸识别和人脸识别为监控信号，得到最小的类内变化的面部特征，所以，在LFW人脸识别率提高到99.15%。在后续工作中，通过增加网络结构、增加培训数据、增加各级监控信息等手段进一步改进了网络结构，实现了99.47%的识别率。
3.3 自然语言处理领域
自然语言处理的传统方法是基于统计模型，但在自然语言处理领域却从未受到重视。美国NEC研究所将首先介绍自然语言处理的深度学习的概念来研究，从2008年开始的词汇映射研究一维向量空间和多层卷积结构解决分词、词性标注、命名实体识别和语义角色标注自然语言处理的四个典型问题。建立了一个网络模型来解决这四个问题，结果比较准确。总之，深度学习在自然语言处理上取得的成果仍有待进一步的研究。
4 未来应用
4.1 计算机视觉
生物特征识别：人脸识别、步态识别、行人ReID、瞳孔识别；
图像处理：分类标注、OCR、场景分割、车辆车牌、以图搜图、AR；
视频分析：智慧城市、安防监控；
4.2 自然语言处理
语音识别、文本数据挖掘、文本翻译及理解；
4.3 数据挖掘
推荐系统、天气数据、推荐系统、搜索引擎、知识库、潜在犯罪预测、金融机构的风险评估系统、反诈骗系统；
4.4 复合应用
无人驾驶、无人机、机器人；
4.5 生物科学
识别动植物种类、识别血液中的癌细胞特征、识别MRI扫描图片中的肿瘤、人体基因序列分析、蛋白质结构预测；
总结
未来的深层学习发展领域应集中在迁移学习、强化学习、无监督学习水平上。在应用领域，人工智能将在很大程度上推动深层学习的发展，也许在将来，一个真正的智能代理将诞生。
量子计算机，超级大脑，大脑和其他科学和技术的大量注入了强大的恒星系统支持全球技术在人才和资本投资领域也将继续提供无限的动力，如果AI目前在海洋中的冰山一角，如果未来的技术，支持在领域的一个突破。将带来生产力的新变化，简言之，科学技术是第一生产力。
参考文献
[1] 李波.《基于特征优化的选择性集成学习算法》中国科学技术大学，2013.
[2] 陈先昌.《基于卷积神经网络的深度学习算法与应用研究》，2013.
[3] 刘凡齐.《我国拓展训练行业现状调查及对策分析》华东经济管理221006，2007.