混沌理论的研究及其在通信中的应用是当前科学界和工程领域的一个前沿课题。由于混沌信号具有对初始条件的极端敏感性，而且能产生大量的非周期、连续宽带频谱、类噪声且可再生的混沌信号，使其在通信领域特别是保密通信方面，具有广阔的应用前景。 混沌用于保密通信，主要有两种方式，一是利用混沌系统同步进行保密通信，其属于信道加密范畴；二是利用混沌映射自身的特性构造密码，以达到对信息加密目的，此方式属于信源加密范畴。 本文重点研究了混沌数字调制和混沌图像加密。 首先，本文概述了混沌的起源及发展，混沌在通信和密码学领域中的应用，以及混沌理论的基本知识和研究方法。 其次，针对混沌数字调制，本文研究了现有的主要调制方案并提出了一种新的混沌键控方案-分段移位混沌键控(SSCSK)，通过对其误比特性能进行仿真分析可知，在相同的误比特率条件下，在信噪比要求上，二进制SSCSK比DCSK方案大约小3dB，四进制SSCSK的误比特率与DCSK方案接近。在混沌信号长度相同的条件下，四进制SSCSK比DCSK具有更快的信息传输速率。 此外，针对混沌图像加密，本文研究了图像置乱技术。本文提出了一种基于Arnold混沌映射的彩色图像加密算法，并从密钥空间、已知明文攻击及统计特性等方面对加密算法的安全性进行了系统的分析。 最后，总结全文研究内容，并对今后的研究工作做了一些简单的展望。