光学超表面（metasurface）器件是纳米光学的热门研究领域之一,其在传感、成像、全息投影、光电探测以及光集成等领域具有很大的应用价值和潜力。高速大容量的光集成通信网络是成为下一代互联网的发展趋势,为了提高网络中光储存、光传输以及光处理的能力,利用超表面结构提高光波导器件的集成度成为目前人们的研究热点。传统的光波导器件尺寸存在极限带宽（约70 nm）,光波导材料采用SiO₂和LiNbO₃,但这两种材料只能对部分光（波长范围处于近红外）具有良好的传输性能,这些都限制了光波导器件集成度的进一步发展。为了实现高集成度、高性能化以及大带宽的光通信网络,需要考虑新的材料以及新的技术。光波导器件是实现集成化光通信网络的主要基础元器件。在特定的工作波长范围内,如何实现高效率光波导器件,尤其是用于偏振和模式调控的器件,多模干涉器、光功率分配器、模式转换器、全光逻辑门器件及以此为基础形成的波导中的模式调控,仍然是个难题。另外,用于光通信以及信息处理的光波导器件制备往往需要精密的制备技术和时间成本,寻找新的制备方案降低光波导器件的制备难度,同时保证器件性能,也是研究重点之一。超表面结构能够有效缩小光子器件尺寸,但同时引入显著偏振相关性进行高效偏振控制,能扩大超表面光波导器件的适用范围。通过引入光学超表面,光路中器件的集成度得以提高,这为实现集成化光通信网络所需的光学器件以及探索新型功能的光波导器件提供了重要的途径。在光波导器件中,通过结合超表面的特性,可以实现器件的小型化、低损耗、高效率、宽频带以及可调节等特性。超表面结构使得在亚波长尺寸的传播距离上实现对光波导中模式的灵活调控。随着微纳制备工艺的进步,所制备的光波导器件结构质量越来越高,基于超表面的光波导器件能够实现的功能也逐渐增多。本论文围绕超表面光波导的模式调控特性及其应用展开研究,主要内容包括:1)在介质加载型波导上基于金属型超表面结构实现多模干涉的光波导器件。我们提出了使用准菱形分布的银纳米天线构成超表面结构,通过超表面结构调控多个模式之间的干涉,实现一个可以工作于可见光波段的高性能多模干涉耦合器,多模干涉区的长度仅为4.21μm。超表面多模干涉耦合器使得传输波导与多模干涉器结合,减少连接点,提高器件的集成度。研究了自聚焦点的特性与改变准菱形超表面结构参数之间的关系,通过改变准菱形超表面的结构参数可以调控模式传播方向,由此我们设计并实现了可以替代锥形耦合器的光束耦合器以及偏振不敏感型功率比可调的Y型功分器。对于光束耦合器,经过优化超表面的结构参数,超表面使得1μm宽介质加载型波导中约90%的TE偏振的模式能够耦合到500 nm窄波导中。对于Y型功分器,超表面实现了上下分支的功率配比为1:3。2)在硅波导上通过介质型超表结构实现了模式转换的光波导器件。我们提出了在宽度发生突变的硅波导中使用纳米天线阵列的互补结构（完全蚀刻的纳米孔阵列）实现超表面结构,通过超表面结构调控模式转换系数,实现一个小型化、低损耗以及低串扰的模式转换器,其总长度约2.42μm。研究了超表面的结构参数改变对在波导中传播的各阶模式的影响,使得各阶模式发生相长干涉或相消干涉,实现输出模场分布转换为所需模式的模场。对于TE00模式转换为TE10模式转换器,在工作带宽为300 nm的条件下,模式传输率超过90%、模式纯度超过95%。研究了模式转换器的实验制备与测试过程。该模式转换器可实现CMOS工艺兼容,制备工艺只需要一步刻蚀,极大地简化器件制备的工艺流程。该模式转换器只采用硅材料,可以减少材料和制造成本。在测试中,TE00模式转换为TE10模式转换器在波长为1.55μm处,获得了83.1%（0.8 d B）的传输效率,以及-14.2d B的低串扰。最后,研究了提出的高效紧凑的模式转换器,可以适用于具有不同相对位置的输入/输出波导、不同模式（包括TM模式）以及不同厚度的硅波导中。3)在Y型波导上使用超表面结构实现光信息处理的光波导器件。我们提出基于Y型介质加载型波导,通过超表面结构控制波导模式的干涉实现可工作于可见光范围内且波长不敏感的全光逻辑门器件。超表面结构使得TM模式发生多模干涉,从而提高了TM模式在介质加载型波导的传输率。通过调节输入光场的相位,实现每个逻辑状态,进而构成全光逻辑门器件。超表面全光逻辑门器件可以在同一个结构中实现AND逻辑门、OR逻辑门以及XOR逻辑门三种逻辑功能,然后以Y型波导为基础,级联一个控制波导,可以实现另外三种反相逻辑门功能（NAND逻辑门、NOR逻辑门以及XNOR逻辑门）。超表面全光逻辑门器件在实现逻辑功能的同时,简化了结构以及控制的复杂度,实现了器件的可重构性,进而能够提供多种逻辑功能。通过超表面结构适当调节输入模式的相位,使得模式之间发生相长干涉以及相消干涉,对所设计的逻辑门结构在不同的输入状态时的光场分布以及消光比进行了分析,AND、OR、XOR三个逻辑门的消光比高于24 dB,NAND,NOR和XNOR逻辑门分别获得约33.39、27.69和33.11 d B的高消光比。