基于端到端学习的通信系统以一种全局优化的方式对整个系统进行设计,进而使系统能够获得一个更高的性能上限。在基于端到端学习的通信系统中,基于信道特征进行符号表示,并且深度学习网络的参数具有高度复杂性,这些特性使得其具有天然的内生安全特征,并且这些特性可以用来进行安全传输和安全认证的设计。本文的主要工作包括以下几个方面:1.提出端到端学习通信系统中的安全传输方案及相应的性能评价体系。针对端到端学习通信系统,重新设计系统的损失函数及训练方法,使训练优化后的通信系统仅能工作在预定的主信道上,致力于构建一个内生安全的基于端到端学习的通信系统。此外,统计非法者在不同先验信息下的误码字率,并以此来评价系统的安全性。实验结果表明非法者在对合法译码器不同的先验信息条件下,均无法达到50%的译码正确率。2.提出端到端学习通信系统中的安全认证方案及相应的性能评价体系。基于神经网络模型的复杂性,提取出神经网络模型的特点,进而将基于端到端学习通信系统中发射端的输出值域作为发射端的数字签名,之后构建神经网络认证模型利用该签名对发射设备进行身份识别。并且,系统地测试了这种数字签名的随机性和鲁棒性,证明了其作为安全认证签名的可行性。针对神经网络认证模型可能会遭受的非法者的攻击,分析了非法者先验信息不同时攻击成功耗费的代价。3.提出了多用户通信条件下基于端到端学习通信系统的模型结构及训练方法,并且设计了相应的安全传输与安全认证方案。在多用户通信场景中,基于降噪自编码器建立通信系统,并以端到端学习的方式对系统进行训练优化,构建了编码方案与译码器之间多对一的关系,使不同用户即能保持编码器的唯一性又能保持译码器的可靠性,即所有用户可共享同一个译码器即可实现准确译码。进而,对于多用户条件下端到端学习的通信系统,将单用户条件下的安全传输与安全认证方案拓展延伸至多用户通信系统中,并且指出了极端条件下,系统安全认证方案的性能下限。