二十世纪后期发展起来的光通讯技术将人类社会推进到信息时代,光通讯系统中最基本的构成单元之一是光波导,与电路中的导线类似,光波导对电磁场起着限制、传输、耦合、调控等作用。近年来人们期望实现全光网络,从而多功能集成的光子器件颇受关注,人们逐渐研制出一系列能集成其它功能的光波导,例如光纤滤波器、光纤放大器、光纤共振器等,从而能在传送光信号的同时对信号进行处理。目前,信息技术的发展一方面要求集成更多功能的光波导,同时又希望解决光子器件小型化的问题以进一步提高集成度。由于光波长比电子的波长大得多,从而传统光学器件的尺寸不能达到电子器件的量级,但是新近发展起来的亚波长光子学和等离激元学为解决这一问题提供了新思路。本论文基于光波导理论,利用微纳加工手段,建立光学微区测量系统,从理论和实验两方面研究新型波导结构中的光传输,具体内容如下:第一,我们首次提出一种具有新型纳米结构的自相似型介质光波导,发现这种光波导可以选择性地传播多种模式,并且将不同频率的光在空间分开,从而实现"彩虹"捕获和传输。该介质波导由空气芯层及按自相似结构排列的包层构成。包层的自相似结构带来光子带隙的分叉,因而实现了波导模式的频率选择性传输。更为有趣的是,这种波导中能传播"包层模",即模式在保证低损耗的情况下在包层中传播,并且不同频率的光分布在不同的包层中,因此波导实现了"彩虹捕获"的功能。该研究可应用于光通讯和光信息处理,并且可应用于小型化光子集成器件,例如芯片光谱仪、芯片上的成像系统和分光系统等。第二,我们研究了自相似波导中"彩虹捕获"特性的几何调控,构造出新型滤波光纤。研究表明,自相似介质波导中光子带隙的中心频率和带隙宽度能被包层中两种材料的折射率比和厚度比调控,表现为当折射率比和厚度比增加时,光子带结构分裂成更多的子带,同时光子带隙变窄。相对而言,折射率比的改变对光子带隙的影响更为明显。光子带隙的改变引起传播模式和场分布的相应改变,最终导致波导结构中"彩虹"发生改变。在此基础上,我们构造出一种窄带多模波导滤波器,在理论上证实这种小型化的滤波光纤具有与现有滤波器件同等的性能指标。第三,我们研究了自相似波导中"彩虹捕获"特性的外场调控,构造出自相似的液晶波导,从而实现了"彩虹捕获"特性的温度控制。我们在波导结构的包层中引入液晶,从理论上证实液晶-介质自相似波导中同样存在"彩虹捕获"现象,并且液晶的引入使得波导的光传输性质能被外场(温度)有效地调控。我们用实验上得到的液晶折射率参数进行计算,发现"彩虹"的颜色和形状能在整个可见光范围内调节。此外,由于液晶的双折射性质,波导中横电模和横磁模的可调范围不同。这种与偏振相关的波导在很多器件中具有潜在运用,如偏振光分光计、成像系统等。第四,从理论和实验上研究了亚波长金属波导中等离激元的传输特性。一方面,我们将传统的光波导理论推广到等离激元波导,给出了亚波长金属波导中等离激元的色散关系,揭示了在该波导结构中等离激元的Fabry-Perot共振现象;同时利用微加工手段实验制备出一系列金属波导结构,建立光学微区测量系统,实验证实等离激元在几种亚波长波导中发生Fabry-Perot共振,同时实验证实波导结构能调制等离激元的传输。这些结果展示等离激元在集成光子器件中具有广阔的应用前景。总之,我们从实验和理论两方面研究了一些新型波导结构中的光传输,首次提出具有新型纳米结构的自相似型介质光波导,发现其"彩虹"捕获和传输特性;进而给出了自相似波导中"彩虹捕获"特性的几何调控和外场控制手段,构造出窄带多模波导滤波器等新型光波导。同时,发现了亚波长金属波导中等离激元的Fabry-Perot共振以及波导结构调制等离激元传输特性等物理现象。这些研究结果发展了光波导体系,同时为研制多功能集成的新型光波导提供科学思路,可应用于光通讯和光信息处理,特别是研制小型化光子集成器件,例如芯片光谱仪、芯片上的成像系统和分光系统等。