汉字识别在我们的生活和工作中被广泛应用,目前手写汉字的识别技术已经很成熟了,但是对于一些特定场合的应用,比如在文字方向、字体和背景都多样化的书法识别中,仍然存在识别率大打折扣的现象。经过研究发现,识别率降低的原因可能是汉字区域和朝向的检测存在一定的问题,本文针对复杂书法字画的应用场合,设计了一个手写汉字识别系统。经过验证,本系统提高了在复杂书法字画中的汉字识别率,而且该系统还可以应用于类似的复杂背景场合以及多文字的汉字识别中。汉字检测作为汉字识别的第一步,首先,本文提出对汉字区域进行检测的模型是Advanced EAST网络模型,实验中对主要的神经网络VGG16进行了设计,用Ro I层代替其最大的池化层,能够利用Ro I层对图像进行多尺度变换,最后对图像统一到相同大小的尺寸,并且在实验中改进了损失函数,使用Dice损失和DIoU损失函数,与之前的网络模型相比,改进后的网络模型可以达到对文本框更好的标定,对汉字区域进行更准确地预测。其次,在实现对汉字区域准确预测的基础上,实验选取经典卷积神经网络LeNet-5对汉字进行识别,在网络模型中加入区域加权系数,实现对特征图的不同区域给予不同的关注度,能够让汉字的轮廓变得更加明显,使得对汉字的识别取得了不错的效果,并且对比了文本框标定前后的实验结果,最后,证实了汉字区域的有效检测可以提升网络模型识别汉字的准确率。本课题将深度学习应用于不同背景情况下手写汉字的检测和识别中,提高了该场合下手写汉字识别的准确率。该系统可以对多种背景情况下的汉字进行识别,例如拍照、截图、复杂场景、书法体、不同人写的相同汉字等,能够给出汉字的内容、定位位置、识别结果的数目、文本框四个顶点的坐标、汉字所在行的置信度以及输入图片的朝向,对比改进前后的实验数据,识别效果得到明显地改善。但是系统仍然存在许多需要改进的地方,本文针对不足之处提出了相应的解决方案,并对未来的研究进行了展望。