卫星技术的发展推动了低轨卫星星群化和网络化程度的不断加深。通过星间链路构成的低轨卫星网络可以为全球数据传输和多种业务应用提供支持，长期以来一直受到各国军事和科研部门的关注。应用需求和承担角色的转变对低轨卫星通信体制与技术提出了一系列挑战。就通信信号处理的角度而言，这些挑战主要包括提高捕获精度、降低星上信号处理开销、提高功率利用率等。本文以具有星间链路与星上处理能力的低轨卫星系统为背景，以解决低轨卫星星载通信信号处理面临的挑战为目标，围绕上述三方面问题开展工作，对直扩信号高精度捕获技术、稀疏简化时频处理技术、最紧致高阶调制技术进行研究。本文的主要工作和创新性成果如下：提出基于频域重排实现并行高精度捕获的高精度频域重排捕获技术，通过引入相频特性将二维估计转化为一维估计问题从而实现并行捕获。与传统捕获方法基于信号幅频特性通过能量检测实现捕获的思路不同，高精度频域重排捕获算法充分利用了信号的相频特性。在频域重排捕获算法中，相频特性与幅频特性各自表征一个参量且二者间存在约束关系，因此二维估计问题被转化为一维估计问题，可以通过一次运算同时得到时频估计结果。引入相频特性使频域重排捕获算法在不降低捕获时效性的基础上获得精度上的改善。文中对影响算法性能的因素和算法的抗噪声性能进行了分析，推导了信噪比门限的非紧致理论界，并对捕获精度进行了仿真。结果表明，该算法的码相位估计精度和频率估计精度比传统算法分别改善了50%和60%以上。提出基于频域解耦改善算法抗噪声性能的频域重排联合解耦捕获算法，通过固化幅频特性对相频特性谱的影响减少时频估计受到的限制。在高精度频域重排捕获算法中，时频二维估计过程在流程上的耦合效应对算法抗噪声性能产生了影响。通过引入联合解耦处理，算法在保持幅频和相频特性各自反映的参量特征不变的基础上，使得二者的处理流程不相关化，减少了对码相位偏移和剩余频率估计过程的限制，从而改善了整体的抗噪声性能。通过联合解耦处理获得的抗噪声性能的改善不以降低捕获算法的时效性为代价。文中分析了算法的抗噪声性能，推导了信噪比门限的非紧致理论界。结果表明，频域重排联合解耦捕获算法的信噪比门限比频域重排捕获算法改善了约6dB。提出定位优化的稀疏傅里叶变换算法，充分利用直扩信号的“限带稀疏”特性来降低稀疏处理流程的运算复杂度。传统稀疏傅里叶变换方法的稀疏处理过程本质上是解欠定方程的问题，必须采用“压缩、解算、选择”的处理流程。与传统方法不同，文中提出的定位优化稀疏傅里叶变换方法充分利用直扩信号优异的“限带稀疏”特性来防止有效谱峰的碰撞。这使得稀疏处理过程转化为解结果具有一定波动的常规方程的问题，因而可以采用“压缩、预选、解算”的处理流程来降低整体复杂度，且不以最终估计结果的精确性为代价。文中对定位优化的稀疏傅里叶变换算法性能进行了分析，并将其引入前文所述捕获算法中。结果表明，定位优化的稀疏傅里叶变换算法的复杂度比原稀疏傅里叶变换算法降低约50%；基于定位优化的稀疏傅里叶变换的频域重排捕获算法以及频域重排联合解耦捕获算法的复杂度比传统捕获算法分别降低了约96%和90%。建立最紧致高阶调制方式通用数学模型，基于分类和递推的方法求得抗噪声性能的通用解析表达式并提出低复杂度的三相投影解调算法。由于最紧致高阶调制方式数学模型的不完善，之前的相关研究主要着眼于对无穷平面上星座的性能进行理论探讨，以及对特定点数星座的性能进行实验分析。为解决上述问题，文中提出了一套基于星座点幅值分类的通用模型，基于该模型推导了最紧致高阶调制方式抗噪声性能的通用表达式，随后提出了具有恒定运算复杂度的三相解调算法。结果表明，该模型及抗噪声性能通解与实际情况吻合；最紧致高阶调制方式在大星座下的调制效率高于QAM调制方式；该低复杂度解调算法运算量仅为18次实乘与9次实加且与星座阶数无关。