随着网络的发展和Web资源的丰富，利用Web全文信息检索系统来获取所需信息已经成为人们日常生活的重要组成部分，用户也越来越关注如何能够更加准确、高效地查找信息。　　 本文对Web信息检索和系统实现的相关理论与技术作了介绍,对信息检索在Web全文信息检索中的应用进行了较深入的实践。在第二章，介绍了论文的相关的理论，如搜索引擎的种类，中文分词的方法，倒排索引的理论和本论文之中所用到的Lucene的理论与使用方法，在第三章，根据网页的特点，提出两种网页模板的分析算法，第一种算法基于最长公共子序列模型，利用动态规划的方法求出最优解，对于原文献的算法的进行了优化和扩展，以达到求出网页模板字符串和被插入字符串的目的，第二种算法利用统计学的相关理论与原理，将网页模板抽象成为一个数学模型，提取出网页的常见标识在网页的开始位置与结束位置，根据正文的长度的不同算幽不同的方差，确定正文在原文之中的位置，从而可以从网页之中提取出正文的内容，以达到节省空间和减少建立索引与搜索索引的时间的目的，最后比较了两种算法的优点与缺点。在第四章中，介绍了一个利用Java开发的网络蜘蛛，其中包括异构的数据的处理，例如word,pdf，rtf等文件的内容的提取，另外介绍了一种HTML文件解析方法和多线程的使用。在第五章，实现了一个网页抓取系统，自动地从互联网下载用户所指定的网页的信息，包括内容与下一页，为了提高信息检索的效率，利用Lucene软件包，建立全文检索，加快了搜索的速度，提高了信息的准确性和时效性，节省了大量的存储空间。　　 本文从理论和实际的角度出发，既有算法的设计与分析，也有具体的程序的实现，使用了Oracle，Tomcat,Jsp,Java,Eclipse,Lucene等软件和语言，独创一个HTML的解析方法，为用户节省时间，提高了工作效率。