论文部分内容阅读
摘要：統计学习方法和人工神经网络都是在数据分类任务中的使用的模型。本文从技术的角度上总结分析这些模型的相同点与不同点，提供对这些模型分类性能的客观分析。最后本文对如何更好地提升统计学习和人工神经网络的分类性能进行分析总结。
关键词：机器学习；神经网络；人工智能
1 引言
预测模型在各种领域被用于分析和预测。预测模型都是从真实的数据样本中建立的，这些样本数据可以根据一系列规则进行预处理和转格式，普遍用于基于知识的专家系统，或者作为统计和机器学习的训练数据集。目前在机器学习中较受欢迎的是统计学习方法[1-3]和人工神经网路[4，5]。虽然这两种模型分别来自于统计学和计算机学，但同时也具有一定的相似性。
在本文我们给出了统计学习方法和人工神经网络的在模式统计识别中共同点，并且说明为何神经网络可以看做是统计学习的总结。目前预测模型算法已经有不少现成的实现，既有免费的也有商业的软件可用于测试。通过测试发现所获取的结果主要依赖于三个因素：模型构建的数据集的质量、所调整的模型参数和用于计算模型处理结果的评价标准。在总结中，我们指出判断这些预测模型测试结果的好坏所影响的因素。
2 统计学习中的典型算法
支持向量机和k近邻都是统计学习中的典型算法。支持向量机是从统计学习理论思想的一种实现，其工作是从数据集中建立具有一致性的评价器。支持向量机关系的问题是：一个模型如何根据仅仅给出的特征集和训练数据集在未知的数据集中进行预测？
在算法上，支持向量机通过解决约束二次优化问题在数据集中建立最佳的分界线。通过使用不同的核心函数，可以使模型包含不同程度的非线性和灵活性。因为他们可以从不同的高级统计思想中衍生出来，并且在模型计算时不会出现统计错误，因此支持向量机在过去的几年都引起了大量的研究者的兴趣。支持向量机的劣势在于分类的是纯粹的二分法，不会给出潜在的其他类别。
K近邻算法与其他方法不同的是k近邻算法把数据直接用于分类，而且并不需要预先构建模型。这样便不需要考虑模型构建的细节，并且在算法中需要考虑调整的参数只有k，其中k是在评估类别时候需要包含的近邻的数量：p（y|x）的计算值是在x的k近邻中属于y类别的成员数量的比值。通过改变k，模型的灵活性可以相对提高和降低。
k近邻与其他算法相比的优势在于近邻可以提供分类结果的解释，在黑盒模型不足的时，这种基于实例的解释更具有优势。而k近邻的主要缺点在于近邻的计算中：为了计算近邻需要定义一个量度计算不同原子数据之间的距离。在大部分应用领域中，如何这种方式定义的量度并不清晰，只能通过尝试和失败，根据相对重要的并不确定是否能反应量度的数据来定义量度。
3 人工神经网络与统计学习的对比总结
神经网络与统计学习方法不同的是神经网络需要进行模型的计算。神经网络的主要识别过程包括两个：训练模型和根据模型进行预测。与其他机器学习方法不同的是，神经网络具有非常特别的结构，在这个结构中，有输入层、输出层和至少一个隐藏层。但与其他机器学习方法一样的是：构建模型的目的都是找出其参数的最佳值。绝大部分机器学习的算法都是使用梯度下降法把损失函数的结果最小化并且在每次迭代的过程都能找到更合适的参数值。神经网络最重要的组成部分是“神经元”，每个神经元可以看做是一个函数，可以向神经元输入数据，神经元会输出相应结果，神经网络往往具有众多神经元。一种特殊情况是，当人工神经网络只有一个“神经元”，在这种情况下，神经网络与逻辑回归算法是一样的。
在应用上，神经网络往往用于多类别分类问题，例如给图片根据数字、字母、人物、汽车等等进行分类。而上述的支持向量机和k近邻算法都只能进行二值分类。
参考文献：
[1]Hearst M A， Dumais S T， Osuna E， et al. Support vector machines[J]. IEEE Intelligent Systems and their applications， 1998， 13（4）： 18-28.
[2]Taravat A， Del Frate F， Cornaro C， et al. Neural networks and support vector machine algorithms for automatic cloud classification of whole-sky ground-based images[J]. IEEE Geoscience and remote sensing letters， 2015， 12（3）： 666-670.
[3]Weinberger K Q， Blitzer J， Saul L K. Distance metric learning for large margin nearest neighbor classification[C]//Advances in neural information processing systems. 2006： 1473-1480.
[4]Wan E A. Neural network classification： A Bayesian interpretation[J]. IEEE Transactions on Neural Networks， 1990， 1（4）： 303-305.
[5]Zeng D， Liu K， Lai S， et al. Relation classification via convolutional deep neural network[C]//Proceedings of COLING 2014， the 25th International Conference on Computational Linguistics： Technical Papers. 2014： 2335-2344.
关键词：机器学习；神经网络；人工智能
1 引言
预测模型在各种领域被用于分析和预测。预测模型都是从真实的数据样本中建立的，这些样本数据可以根据一系列规则进行预处理和转格式，普遍用于基于知识的专家系统，或者作为统计和机器学习的训练数据集。目前在机器学习中较受欢迎的是统计学习方法[1-3]和人工神经网路[4，5]。虽然这两种模型分别来自于统计学和计算机学，但同时也具有一定的相似性。
在本文我们给出了统计学习方法和人工神经网络的在模式统计识别中共同点，并且说明为何神经网络可以看做是统计学习的总结。目前预测模型算法已经有不少现成的实现，既有免费的也有商业的软件可用于测试。通过测试发现所获取的结果主要依赖于三个因素：模型构建的数据集的质量、所调整的模型参数和用于计算模型处理结果的评价标准。在总结中，我们指出判断这些预测模型测试结果的好坏所影响的因素。
2 统计学习中的典型算法
支持向量机和k近邻都是统计学习中的典型算法。支持向量机是从统计学习理论思想的一种实现，其工作是从数据集中建立具有一致性的评价器。支持向量机关系的问题是：一个模型如何根据仅仅给出的特征集和训练数据集在未知的数据集中进行预测？
在算法上，支持向量机通过解决约束二次优化问题在数据集中建立最佳的分界线。通过使用不同的核心函数，可以使模型包含不同程度的非线性和灵活性。因为他们可以从不同的高级统计思想中衍生出来，并且在模型计算时不会出现统计错误，因此支持向量机在过去的几年都引起了大量的研究者的兴趣。支持向量机的劣势在于分类的是纯粹的二分法，不会给出潜在的其他类别。
K近邻算法与其他方法不同的是k近邻算法把数据直接用于分类，而且并不需要预先构建模型。这样便不需要考虑模型构建的细节，并且在算法中需要考虑调整的参数只有k，其中k是在评估类别时候需要包含的近邻的数量：p（y|x）的计算值是在x的k近邻中属于y类别的成员数量的比值。通过改变k，模型的灵活性可以相对提高和降低。
k近邻与其他算法相比的优势在于近邻可以提供分类结果的解释，在黑盒模型不足的时，这种基于实例的解释更具有优势。而k近邻的主要缺点在于近邻的计算中：为了计算近邻需要定义一个量度计算不同原子数据之间的距离。在大部分应用领域中，如何这种方式定义的量度并不清晰，只能通过尝试和失败，根据相对重要的并不确定是否能反应量度的数据来定义量度。
3 人工神经网络与统计学习的对比总结
神经网络与统计学习方法不同的是神经网络需要进行模型的计算。神经网络的主要识别过程包括两个：训练模型和根据模型进行预测。与其他机器学习方法不同的是，神经网络具有非常特别的结构，在这个结构中，有输入层、输出层和至少一个隐藏层。但与其他机器学习方法一样的是：构建模型的目的都是找出其参数的最佳值。绝大部分机器学习的算法都是使用梯度下降法把损失函数的结果最小化并且在每次迭代的过程都能找到更合适的参数值。神经网络最重要的组成部分是“神经元”，每个神经元可以看做是一个函数，可以向神经元输入数据，神经元会输出相应结果，神经网络往往具有众多神经元。一种特殊情况是，当人工神经网络只有一个“神经元”，在这种情况下，神经网络与逻辑回归算法是一样的。
在应用上，神经网络往往用于多类别分类问题，例如给图片根据数字、字母、人物、汽车等等进行分类。而上述的支持向量机和k近邻算法都只能进行二值分类。
参考文献：
[1]Hearst M A， Dumais S T， Osuna E， et al. Support vector machines[J]. IEEE Intelligent Systems and their applications， 1998， 13（4）： 18-28.
[2]Taravat A， Del Frate F， Cornaro C， et al. Neural networks and support vector machine algorithms for automatic cloud classification of whole-sky ground-based images[J]. IEEE Geoscience and remote sensing letters， 2015， 12（3）： 666-670.
[3]Weinberger K Q， Blitzer J， Saul L K. Distance metric learning for large margin nearest neighbor classification[C]//Advances in neural information processing systems. 2006： 1473-1480.
[4]Wan E A. Neural network classification： A Bayesian interpretation[J]. IEEE Transactions on Neural Networks， 1990， 1（4）： 303-305.
[5]Zeng D， Liu K， Lai S， et al. Relation classification via convolutional deep neural network[C]//Proceedings of COLING 2014， the 25th International Conference on Computational Linguistics： Technical Papers. 2014： 2335-2344.