卫星通信因大容量和广区域的地理覆盖,为超第五代（Beyond the Fifth-Generation,B5G）/第六代（the Sixth-Generation,6G）通信系统提供了重要的技术支撑,以满足人们对随时随地高质量通信的需求。低轨卫星因低成本、低延迟、低功耗、高数据传输速率成为B5G/6G通信的重要研究内容。目前卫星互联网在传输技术和物理层安全方面的研究不充分,从而限制了低轨卫星互联网在B5G/6G通信的应用。本论文围绕“低轨卫星互联网的传输技术与物理层安全”这一课题进行深入研究,针对低轨卫星互联网的高动态特点、商业化应用和安全性需求,研究了低轨卫星互联网的自适应传输、高能效传输及物理层安全。本文的贡献主要在以下四个方面:1.提出了高动态低轨卫星互联网自适应传输的新型分析框架。针对低轨星地链路的时变特性,利用有限状态的马尔可夫信道（Finite-State Markov Channel,FSMC）模型和时间离散化方法,对低轨星地传输链路的小尺度衰落和大尺度衰落建模。研究高动态低轨卫星互联网的吞吐量、能效和延迟中断概率,实现高动态低轨卫星互联网的自适应速率传输和自适应功率传输。仿真结果验证了该模型在自适应传输机制下的有效性和可靠性,与传统方法相比,该模型可提供更高的吞吐量和能效,降低系统延迟中断概率。2.提出了 多波束多输入多输出（Multiple-Input Multiple-Output,MIMO）中继卫星通信系统的高能效传输技术。由于多波束多用户两跳解码转发MIMO卫星中继系统的能效优化为非凸问题,引用连续凸近似技术,将能效优化问题转变为凹分式规划问题,并通过引入松弛变量和联合优化功率,实现计算复杂度低且收敛性能好的高能效传输。仿真结果表明,与对比优化算法相比,采用该优化方法能效可以提高一倍。3.研究了混合混合无线射频（Radio-Frequency,RF）-无线光通信（Free Space Optical,FSO）空天地一体化网络的协同安全通信性能。构建混合 RF-FSO 协作卫星-空中-地面网络（Satellite-Aerial-Terrestrial Network,SATN）,实现空天地一体化网络的的广区域地理覆盖和安全传输。综合考虑通信节点的位置随机性,利用随机几何数学工具,研究RF-FSO异构合作SATN上行链路的物理层安全。仿真结果验证了所提出的协作空天地一体化网络安全通信模型性能的正确性。4.研究了低轨星地通信系统中次级网络认知无线电（Cognitive Radio,CR）-无线携能传输（Simultaneous Wireless Information and Power transfer,SWIPT）的物理层安全方问题。为进一步提高频谱效率,该卫星互联网中的次级网络与主网络共享相同频段,通过波束成形和人工噪声技术,降低能量收集器在能量收集过程中对信息的窃听。基于三维空间下能量收集器的统计模型,研究卫星互联网中CR-SWIPT的物理层安全并推导系统的安全分集阶和安全分集增益。仿真结果验证了理论推导的正确性。