摘要：手写数字识别现有的比较流行的方法有基于神经网络的识别、KNN、以及SVM等。而本文基于R语言，首先将图片预处理得到灰度矩阵，与数字矩阵计算协方差矩阵，得到线性拟合模型；之后采用核回归和Nadaraya-Watson估计建立第二个模型，对比和分析两个模型的预测效果。
　　关键词： 协方差矩阵；线性拟合模型；核回归；Nadaraya-Watson；估计
　　1 相关研究工作
　　本文基于手写数字识别这个大课题，分别用到了线性拟合模型[1]，以及基于核回归方法[2]的模型来进行识别。将建立好的两个模型预测的错误率进行比对，综合分析两种模型的优劣。
　　2 基于R语言的线性模型识别手写数字
　　2.1 数据的处理
　　本文使用了MNIST的3与7的数据集，包括训练集和预测集。每一个数字被处理后形成16乘16的像素点，可以得到一个包含训练集各个数字的灰度矩阵，每一行的数据对应了一个图像的各个像素点的灰度值，值域为-1到1。
　　取出训练集的第一列组成一个矩阵，与灰度矩阵进行相关性计算，得到协方差矩阵。公式如公式（1）所示。其中Cov为求协方差，D为求方差。
　　取出协方差矩阵中数值最大的十个值，作为手写数字的特征点，便于进行线性拟合。
　　2.2 模型的建立
　　针对该研究问题，手写数字只有3和7两种可能，所以我们有理由假设该事件满足二项式分布。如公式（2）所示，其中k为实验次数，k=0，1……n； p为一次事件成功的概率
　　由此我们可以得到模型的拟合方程，即包含十个特征像素点的线性模型。
　　2.3 模型的预测和评估
　　本文将predict函数得到的p值作为判断3和7的条件，大于等于0.5则认定数字为7，反之则为3。由训练集和测试集分别得到样本内错误率和预测错误率。样本内错误率为0.01074444，测试错误率为0.02875399。我们发现依然有图像是難以预测如下图所示。
　　可以发现，错误预测的图像有一些共性。1.数字的书写习惯奇怪，使用关键像素点难以判别 2.数字写得太小，或偏离中心。所以，我们接下来的目标是解决这些问题。
　　3 基于R语言的核回归模型识别手写数字
　　3.1 数据的处理
　　本模型特征值选取经过处理后的一维曲线。首先需要将原图像进行中心化，解决数字偏离中心的情况；再将图像进行缩放，解决写得太小的问题。处理后的图像横坐标会相应改变，纵坐标将原图像同一竖直方向的点的值相加，得到压缩后的纵坐标，进而获得x方向以及y方向的两条压缩后的一维图像。如下图所示。
　　3.2 模型的建立
　　如图三所示，分别是单一样本进行降维后的一维曲线结果，我们在进行模型建立的实际过程中需要对训练集的所有样本进行训练，采用核回归的Nadaraya-Watson估计方法，得到相应的拟合曲线。其中核权重方程采用公式（3）。其中x、y分别为一维曲线的横纵坐标。
　　进过核回归得到的训练集拟合曲线如下图三所示。
　　由图三可以发现，数字3和7的拟合曲线有着很大的差别。我们的判别方法采用分别将每个样本的x、y方向上的一维曲线与拟合得到的曲线计算点距离之和，值较小的曲线即认为是所属的拟合曲线。
　　3.3 模型的预测和评估
　　本文采用对模型进行交叉检验来获得预测错误率。核回归模型对于测试数据集的错误率大约为0.05，与线性模型相比错误率有所提升。
　　4 模型对比与分析
　　从预测的错误率来看，线性模型具有更高的准确率，然而我们仅仅选用了相关性较大的十个像素点，具有一定的局限性；而核回归模型能解决线性模型的一些问题，但是准确率上反而降低了。经过综合分析，在后续的研究中可以考虑直接使用二维的核回归模型，这样能避免很多信息的丢失，提高预测的准确性。
　　参考文献：
　　[1]冷建飞，高旭，朱嘉平.多元线性回归统计预测模型的应用[J].统计与决策，2016（07）：82-85.
　　[2]赵亮，赵春霞，张二华.核回归方法的散点拟合曲面重构[J].计算机研究与发展，2009，46（09）：1446-1455.