维度约减旨在尽可能不丢失信息的前提下,将高维数据映射到低维空间,它是高维数据分析中的重要方法,随着科技的发展,包含丰富信息的高维数据呈爆发式增长。随着数据维数的增加,如何从高维数据中提取有效信息成为了诸多领域需要解决的关键问题,如机器学习、文本分析、图像处理等。本文研究了部分经典的维度约减技术,并在基于神经网络的维度约减方案上提出了改进,引入了残差结构、鉴别网络和对抗式训练思想,并实现了数据获取系统和维度约减系统的耦合,通过实验证明了数据获取系统是稳定可靠的,同时维度约减方案的性能有所提高。本论文的研究主要包括以下几个方面:1、对多种经典维度约减算法进行研究和学习,熟悉这些算法的流程并分析它们的应用效果。同时,研究了用于降维的神经网络算法以及它的改进算法。2、提出了残差编码网络。将残差块应用到神经网络中代替原始的平原网络;引入鉴别网络作为神经网络误差评价方式,从而用特征级误差测量方式代替了传统的元素级误差测量;引入对抗式训练思想,使编码解码网络与鉴别网络在博弈中完善。3、本文提出了分布式数据获取系统并将其应用到网站内容获取和入侵检测日志获取上,并将数据获取系统和维度约减系统进行了耦合。通过实验证明了分布式数据获取系统的功能和系统的稳定性是正常的并可以应用到实际当中。4、本文整合了部分维度约减算法到维度约减系统中,并提出了维度约减系统的应用方法和使用流程。在系统测试与分析阶段,分析对比了不同维度约减算法在多个目标维度下生成的低维编码在使用后续分类器对其分类和训练的准确率。综上,本文总结了维度约减相关的数学方法和神经网络方法,提出残差编码网络方案并提升了性能。另外本文设计实现了维度约减系统和数据获取系统同时将它们耦合起来。