近年来,随着社会信息化的快速发展,全球范围内的移动数据流量呈爆炸式增长,同时用户对通信业务的要求也在不断提高,而目前采用的第四代移动通信系统难以满足人们未来的需求。因此,实现具有高数据速率、高服务质量、高频谱利用率、多种业务支撑能力的第五代移动通信系统(5G)成为了未来移动通信发展的必然趋势,并受到了国内外学术界和工业界的密切关注。作为5G关键技术之一的大规模多输入多输出(MIMO)技术与中继技术相结合,在数据传输速率、覆盖范围、链路可靠性等方面具有巨大的优势,能够满足5G在性能方面的愿景与需求,并且在未来无线通信领域内具有非常广阔的应用前景。因此,本论文针对大规模MIMO中继传输技术的性能展开了深入研究,主要的研究工作及创新成果如下:首先,研究了大尺度衰落对大规模MIMO多中继系统渐近容量的影响。目前大多数关于大规模MIMO多中继系统渐近容量的研究都局限于小尺度衰落的简单假设,而忽略了实际传输环境中包含阴影衰落和路径损耗的大尺度衰落因素。因此,本论文分析了在同时包含小尺度衰落、阴影衰落以及路径损耗的条件下,当发送节点/接收节点的天线数和所有中继节点的天线数都趋于无穷大并且两者为固定比值时大规模MIMO多中继系统的渐近容量。本论文首先利用随机矩阵理论推导出在渐近条件下信道协方差矩阵的经验谱分布函数。然后在此基础上,进一步考虑中继节点个数有限和无穷大这两种情况并结合中继节点的实际线性分布,从而分析出系统的渐近容量。研究结果表明:大尺度衰落严重影响系统的渐近容量,其中增加阴影衰落的标准差或者减少路径损耗指数可以提升渐近容量,而增加中继节点所在线段的长度会减少渐近容量。其次,研究了信道老化对多对用户大规模MIMO中继系统频谱效率的影响。不同于以往多对用户大规模MIMO中继系统频谱效率的研究,本论文考虑了由用户节点移动和相位噪声联合引起的信道老化因素,其被认为是在时变信道下不可忽视的实际信道损伤因素,是影响中继获得信道状态信息的关键因素之一。本论文首先推导出当中继天线数为有限,中继采用最大比合并/最大比发送(MRC/MRT)处理方案时每个用户对的近似可达速率的闭合表达式。然后在此基础上,分析了在中继天线数增加至无穷大的渐近条件下系统的渐近频谱效率以及功率缩减法则。研究结果表明:在系统中考虑信道老化因素并不会影响功率缩减法则的规律,但是会使频谱效率发生剧烈的衰减。此外,减少用户的Doppler频移或者相位噪声偏移量的方差可以提升系统的频谱效率。最后,研究了多对用户大规模MIMO中继系统的综合性能。目前大多数关于多对用户大规模MIMO中继系统的性能研究都集中于分析系统的可达速率或者频谱效率,而忽略了其他评估系统性能的重要指标。因此,本论文研究了在中继采用迫零(ZF)处理方案时,多对用户大规模MIMO中继系统的中断概率、可达速率以及不同渐近条件下的功率缩减特性。本论文首先分析了信干噪比的概率密度函数,从而推导出系统中断概率和可达速率的闭合表达式,其推导结果适用于中继天线数为任意的情况。然后在此基础上,研究了在中继天线数趋向于无穷大而用户对个数分别为有限和无穷大这两种渐近条件下系统的渐近性能以及功率缩减法则。研究结果表明:增加中继天线数可以使系统的中断概率逐渐减小至零,而使系统的可达速率增加至无穷大;在这两种渐近条件下发送用户节点或者/和中继节点的发送功率都可以缩减至与中继天线数成反比例的关系而仍然保持系统的性能不变。