IPSec是为Internet通信提供安全服务的一组标准协议。其目标是为IPv4和IPv6提供具有较强互操作能力、高质量和基于密码的安全服务。Linux作为著名的开放源代码操作系统软件，对我国的软件行业来说是一个重大的机遇，因此研究Linux及Linux下的各种应用显得非常重要。本论文主要研究了Linux下IPSec的实现及其与防火墙协同工作的改进设计，主要工作如下：总结了IPSec的研究现状和发展状况；结合Linux下实现IPSec的开源软件FreeS／WAN的源代码，分析了开源网站共创软件联盟的子项目Linux下IPSec安全网关系统的设计方案及其各个部分的具体实现；分析了IPSec协议栈中各个协议的安全操作和IPSec对进出数据报的处理；分析了IKE协议和安全策略数据库与安全关联数据库的实现代码，基本了解了网络协议的软件实现方法。另外，针对如何让IPSec和防火墙协同工作的问题，提出了一种双层IPSec处理思想：将IP报文分为协议头和数据两部分，使用复合安全关联(Composite SA)对其进行安全处理，使IPSec和防火墙可以各取所需，从而给出上述问题的一个改进设计方案。方案的优点在于安全主机与防火墙之间复合安全关联的协商灵活多变，与传统IPSec相比协议格式变化不大，传输效率较高。