随着计算机技术和网络技术的发展,人类社会的数据量呈爆发式增长,信息检索就是研究如何在这些信息中快速有效地检索到有用信息。网络上获取的信息形式多样,其中半结构化和非结构化形式的信息占据了很大一部分,对于结构化信息的检索可以使用数据库技术,而对于非结构化信息的检索却缺乏有用的工具,因此全文检索技术应运而生。全文检索系统主要由文本预处理、索引建立、索引管理和web检索平台等多个部分组成。本文主要对全文检索系统中文件预处理模块用到的相关技术进行研究,主要包括文件实时监控、文件类型识别、文本内容提取等。该模块使用Inotify机制对数据源实时监控,将监控到的文件路径提交至基于高级消息队列协议实现的消息队列中,依次识别文件类型,根据不同文件类型使用不同的接口提取文件的文本内容。最后准备大量文件对预处理模块的功能和性能进行测试,实验结果表明该模块具有较高的识别正确率和较好的文本提取完整度,基本满足设计要求。本文对基于内容的文件类型识别算法进行了研究,将文件内容按字节值划分,使用字节值和字节值频率建立文件的向量空间模型。识别过程使用K近邻做分类算法,为降低分类过程的计算复杂度提高分类的效率,引入了主成分分析算法和聚类算法对样本空间做降维处理。最后对算法进行测试,实验结果表明改进后的算法减少了分类时间,具有较高的分类效率和识别正确率。本文最后研究了将信息增益特征选择算法和TFIDF权重计算算法用于文件分类过程,针对样本集分布不均衡时分类正确率下降的情况,在传统算法的基础上引入类间集中度和类内离散度,并对权重算法和特征选择算法进行改进,用支持向量机做分类算法。最后对算法进行实验验证,结果表明,使用改进后的算法分类正确率在一定程度上得到了提高。