工作在30-300GHz频率范围的毫米波通信定义了无线通信新时代。相比于传统的无线载波频段,它提供了更大数量级的带宽、更高的数据传输速率,但毫米波传输频率会导致严重的路径损耗。因此,对于日愈剧增的用户无处不在地访问大量无线数据的需求,以及未来对无线通信频谱效率的爆炸性增长需求,毫米波通信与大规模多输入多输出(Multiple-Input Multiple-Output,MIMO)的结合成为大势所趋,而这一结合在有限射频(Radio Frequency,RF)链的限制下也充满挑战性。同时毫米波通信也面临着由模拟前端的组件缺陷带来的射频损伤问题,同相/正交(In-phase/Quadrature,I/Q)不平衡作为其中之一极大地降低了系统性能。因此,本文以实现I/Q不平衡的估计与补偿及缓解毫米波大规模MIMO系统中RF链数量上的压力为主要研究内容。针对收发端频率相关I/Q不平衡问题,以工作在毫米波频段的单载波频域均衡系统为模型,提出了一种改进的期望最大化(Expectation Maximization,EM)迭代算法,实现了信道、发射端I/Q不平衡、接收端I/Q不平衡的独立估计。在步骤E中,基于信道的结构稀疏性,嵌入了一个类似稀疏贝叶斯学习的迭代过程来估计信道;在步骤M中,利用牛顿法最大化目标函数来分阶段估计I/Q不平衡参数。最终,根据获得的估计值,基于最小均方误差(Minimum Mean Square Error,MMSE)准则实现I/Q不平衡的补偿。针对毫米波大规模MIMO系统中的RF链限制问题,考虑引入透镜天线阵列来减少对RF链数量的需求,这一目标的实现基于信道的正确估计。利用波束空间中的信道稀疏性,首先将信道估计问题转换到稀疏信号恢复的框架中,然后给出了两种不同的信道估计方法。方法一是直接利用EM算法来学习框架中的参数,方法二是以正交匹配追踪(Orthogonal Matching Pursuit,OMP)和EM算法相结合的方式实现参数估计,最后将参数估计值替换为信道估计。方法二在方法一基础上展开,却有低得多的算法复杂度。对于以上所提算法,通过仿真验证表明了其可行性与有效性,同时与已有的其他方法相比,在相当的计算复杂度前提下有更优越的实现性能。