随着计算机技术的快速发展和进步,软件被越来越多地应用到各行各业中,几乎已经成为每个人生活中必备的工具。在软件行业快速发展的同时,二进制分析技术和逆向工程技术也在快速的发展和进步,目前已经有成熟的自动化逆向工具集出现,这使得对软件的分析能力和分析效率大大提高,给软件的安全性和版权问题带来了极大威胁。为应对逆向分析给软件带来的安全威胁,目前主要采取的保护措施有:一、加壳,使用强度比较高的虚拟壳或者通过自己编写的生僻壳对目标软件进行加壳保护;二、代码混淆,通过对软件进行代码混淆处理来改变程序的逻辑结构和增加程序的复杂度,以此来增加逆向分析的难度。本文以增强ELF文件抵抗逆向分析的能力为目的,对Linux平台下的ELF文件的加壳和代码混淆技术进行了重点研究,本文的主要工作包括:一、ELF文件加壳技术的研究。首先通过对ELF文件的加载过程和ELF文件常见加壳方法的原理进行分析,总结出常见加壳方法存在的不足,然后提出了一种包含式ELF文件加壳方法。该加壳方法使得ELF文件壳的加密与解密或压缩与解压缩算法能够更加容易进行更换。二、ELF二进制混淆技术的研究。首先对常见二进制混淆技术进行了分析,总结出常见二进制混淆方法的不足,然后提出了一种基于函数间基本块交换的二进制混淆算法,给出了混淆算法的整体思想,并对混淆算法进行了详细描述,包括混淆算法的形式化定义和混淆算法中基本块进行交换使用的具体算法和混淆后二进制文件的重构等。三、根据所提出的ELF文件加壳方法和混淆算法设计并实现了一个ELF文件保护系统,系统包括一个ELF文件加密壳和一个ELF文件混淆器。分别就ELF文件加密壳和ELF文件混淆器的设计与实现进行了详细描述,并就ELF文件加密壳和ELF文件混淆器分别进行了功能上的验证和性能上的评估。实验结果表明提出的加壳方法和二进制代码混淆算法均有效,都能够有效增强ELF文件抵抗逆向分析的能力。