人工神经网络是对生物神经元之间互相连接和大脑若干功能的模仿,经过适当的数学描述进而建立起来的简单数学模型,按不同的连接方式可以组成不同的网络。由于神经网络具备强大的学习能力,大数据处理能力,以及良好的泛化能力,如今已经成为许多领域的研究热点。为了提升网络的计算速度,降低网络占用的内存,使用更经济的稀疏网络,神经网络的结构优化已经成为了一个热门研究课题。对于输出层,我们对传统的一对一输出方法（即是one-hot方法）进行改进,提出了减少输出节点数量的二进制输出方法,与此同时隐层到输出层的权值数量也大大减少,因此计算速度得到提升。将这一思想分别应用在感知器网络、前馈神经网络和极限学习机中,取得了很好的实验效果。此外,对于隐层,我们对卷积神经网络的全连接层采用光滑组L1/2正则化方法,以此去掉全连接层的冗余节点,并避免了数值实验过程中可能出现的振荡现象,提高了网络的泛化能力。具体研究内容如下:1.当使用带有四个隐节点的多层线性感知器网络处理多分类问题时,传统的一对一方法需要的输出层节点过多。对此,在输出层采用二进制方法替代一对一方法。本文给出了若干条关于n维空间中超立方体顶点的可分定义和定理,并根据它们找出两类点的分隔超平面,进而利用这些超平面的组合来完成多分类任务。通过代数计算和数值实验两方面证明了二进制方法的可行性和优越性。2.当使用更为一般的前馈神经网络模型处理多分类问题时,对输出层应用二进制方法编码。由于Sigmoid函数的加入,本文只能给出类别数量小于等于4的算例的证明。接下来又给出了一些特殊情况来说明二进制方法的优势。数值实验部分使用八组不同的数据集对二进制方法和一对一方法进行了对比,二进制方法在其中的五组实验上有更好的实验结果,并且计算速度更快,从而验证了二进制方法的优越性。3.当使用极限学习机模型处理多分类问题时,对输出层采用二进制方法编码。文中对二进制方法和一对一方法在九组不同的数据集上作出测试,对比了这两种方法的分类准确率、预测率、召回率、F1值、标准差和均方根误差。与一对一方法相比,二进制方法在七组数据上拥有全方位更优的表现,并且二进制方法计算速度更快,隐单元个数的选取对实验结果的影响更小。此外,我们对正则化极限学习机也进行了对比实验,结果表明二进制方法比一对一方法有更好的分类精度。4.本文最后研究了卷积神经网络的全连接层稀疏化问题,在这里运用光滑函数替代组L1/2方法中的绝对值函数,进而得到光滑组L1/2方法,用于裁剪全连接层中的冗余节点。通过将光滑组L1/2正则项引入到网络的学习过程中,使连接全连接层冗余节点和输出层的权值趋近于零。原本的L1/2正则化方法具有很好的稀疏性,但由于在原点处,它是不光滑的,这导致了学习过程中出现振荡现象。并且,对于光滑组L1/2正则化方法,还能给出相应的收敛性证明。与组L1/2正则化方法相比,光滑组L1/2正则化方法不仅拥有更好的稀疏性和泛化能力,网络的性能也得到了一定意义上的提升。