Internet上的信息量呈现着爆炸性的增长态势。人们面对海量信息并需要从中寻找到自己所要的资源时，搜索引擎已经成了最有效的方式。搜索引擎通过某种策略搜集信息，并对信息加以组织和整理，为客户提供检索服务。搜索引擎技术一直是学术界研究的热点之一。　　搜索引擎本身涉及了广泛的知识面，本文通过对搜索引擎的几个关键技术进行梳理和研究，对搜索引擎的背景、发展历史做了介绍，对抓取技术，中文分词算法以及网页索引技术做了进一步的分析和探讨，主要完成以下工作内容:　　研究并实现了基于MongoDB的分布式抓取技术。考虑到搜索引擎涉及到大规模的数据量，为了提高系统的性能，必须采用分布式技术。本文结合了MongoDB数据库优越的自动负载平衡机制以及它对海量非结构化数据的支持，研究并实现了基于MongoDB数据库的分布式抓取器，通过多个抓取服务器的协同合作，抓取工作性能稳定且表现优越。　　研究并实现了基于改进词典机制的全切分中文分词算法，主要从效率和准确性上对中文分词算法进行了一定的改进工作。对于基于词典的中文分词算法提出了改进词典机制保证其高效性。对中文分词的交叉型歧义的消除提出了将统计和规则结合起来的算法机制。本文实现的中文分词系统符合搜索引擎的使用要求。　　最后，本文针对MapReduce编程思想与MongoDB集群的特点，对索引系统的设计做了探讨。