更大的用户带宽和更多的服务质量需求之间的权衡给下一代光网络带来了前所未有的挑战,因此光性能监测（Optical Performance Monitoring,OPM）技术成为了下一代自主光网络的共同需求。传统的光性能监测技术的侵入性较强,缺乏核心数据特征的自提取能力且监测模型较复杂,监测精度有限和监测效率低下,所需设备复杂,人工成本较高,难以适应下一代自主光网络的发展。深度学习有着较强的核心数据特征自提取能力,且监测模型层次清晰简单,在光性能监测领域使用深度学习技术可以帮助光网络在可靠性、传输效率等诸多方面取得优异的成效。因此,本文提出了两种在光纤通信中基于深度学习的智能星座图监测分析方法,包括卷积神经网络和小样本学习网络。采用卷积神经网络进行星座图监测时,不同于以往仅对少数调制格式信号进行研究,本文对多种调制格式信号进行了性能监测和调制格式识别。本文的另一个重点是提出了基于小样本学习网络智能星座图监测分析方法,此方法中网络采用插曲训练机制这种多任务学习方式,利用较少数据就可以完成监测模型的训练与优化,能够快速适应新任务;且具备很好的迁移性,可以迁移复用到其他监测任务中,节省网络参数优化时间。在既往的星座图检测中,通常采用常规的大样本数据集进行模型的训练和优化,然而星座图是高度对称的信息图片,提取图片中的特征较为容易,这一特点也使得小样本环境下该网络模型的训练与优化成为可能。目前关于小样本学习算法在星座图识别方面的研究工作还很少,本文中我们利用小样本学习网络对星座图的识别与监测进行了深入研究。本文研究内容和结果如下:1.针对卷积神经网络分析模型搭建了符号速率为25Gbaud的QPSK、8QAM、8PSK、16QAM、16PSK调制格式的相干光通信系统。针对小样本学习网络分析模型搭建了符号速率为25Gbaud的BPSK、QPSK、8QAM、8PSK、16QAM、16PSK、32QAM、64QAM调制格式的相干光通信系统。使用这两种网络实现了多种信号的调制格式识别、光信噪比（Optical Signal to Noise Ratio,OSNR）估计、光纤链路传输距离估计,其中光纤链路传输距离估计是一种粗略估计,估计精度为100 km。2.进行了基于卷积神经网络的智能星座图监测与分析。进行调制格式识别时能够达到100%的估计准确率。进行OSNR估计时,对上述5种调制格式实现间隔1 d B的100%精度估计,优于K最近邻算法（K-Nearest Neighbors,KNN）和人工神经网络算法（Artificial Neural Network,ANN）。进行光纤链路传输距离估计时,能对上述5种调制格式实现至少94%精度的估计。3.进行了基于小样本学习网络的智能星座图监测与分析。进行调制格式识别时,搭建了低OSNR,中间值OSNR,高OSNR三种OSNR模型,在效果最好的模型中调制格式识别率可以达到99.08%。进行OSNR估计时,对上述8种调制格式实现间隔2 d B的100%精度估计,优于与模型无关的元学习（ModelAgnostic Meta-Learning,MAML）算法。在进行光纤链路传输距离估计时,利用调制格式识别中搭建的三种OSNR模型进行光纤链路传输距离估计,对除32QAM和64QAM外的调制格式均能达到90%以上的估计精度。