非线性光学是光学的一个重要的分支,描述了光与介质的相互作用过程。自从1961年Franken等人首次实现二次谐波以来,非线性光学过程在许多科学技术领域发挥着重要作用。人们通过利用非线性过程对激光器的辐射频率进行有效调控,基于这一原理的激光器可用波长范围可以扩展到可见光谱的短波长区域。目前有效的频率转换过程多是在宏观尺度的无机双折射晶体中实现的,过大的晶体尺寸阻碍了片上可调谐非线性光学的发展。介质纳米线或纳米带以其本身较强的非线性系数以及能够在波长尺度上操控和引导光,使它们成为片上非线性光学器件的重要一员。然而光学衍射极限的存在使得进一步发展更紧凑的器件变得十分困难。复合等离激元波导由表面等离激元（surface plasmon polaritons,SPP）结构与介质波导相互耦合形成,为解决上述难题提供了新的方案。这一波导同时利用了表面等离激元可以突破衍射极限和介质波导非线性系数较高且传播损耗低的特征,可以在亚波长尺度上实现非线性过程。它为集成化非线性器件的设计敞开了大门。本文主要围绕杂化等离激元波导的二次谐波效应（second harmonic generation,SHG）,就如何提升SHG的转换效率和对SHG光束的调控进行了深入的分析和研究。具体来说,本论文的研究主要包括三个方面:一、研究了基于‘半导体纳米线-间隙绝缘层-超光滑金膜’的杂化等离激元波导结构的二次谐波效应。该器件的非线性转换效率高达4×10-5W-1,比已往报导的表面等离激元结构或者半导体结构高几个数量级。波导模式与非线性材料之间有着较强的空间重叠,以及入射模和反射模之间的动量守恒是产生这种高效率的关键因素。倍频光子的发射角与激发波长线性相关,表明在亚波长范围内可以实现非线性光束转向。我们的工作为实现高效、可调谐的非线性相干源开辟了新的途径。二、利用光栅实现了在杂化等离激元波导中对二次谐波光束的调控。二次谐波（second harmonic,SH）信号的发射角可以从沿波导轴方向调控到与波导轴成60°夹角,进而进入物镜收集锥,从而允许检测到高损耗波导的共传播波导模式中原来不可检测的SH信号。共传播模式的SH光子的转换效率从难以收集提升到占总SH光子的26.7%(3×10-5W-1)。当泵浦波长从770到840 nm变化时,倍频光子光束的发射角变化达到22°。该设计可作为纳米光子系统的非线性光栅耦合器,可用于有效的非线性相干光产生和集成非线性纳米光子学。三、利用光栅激发的SPP远程激发杂化等离激元波导的二次谐波。当表面等离激元耦合到Cd Se纳米带中,相向传播的杂化等离激元模式相互干涉,形成垂直向上发射的SHG。Cd Se纳米带有一定的厚度,其上下表面折射率突变结果形成法布里珀罗腔。我们从实验及计算上证明了当Cd Se纳米带的厚度接近240nm时（波长为800 nm）,形成法布里珀罗腔共振,使得SHG最大可以增强约两个数量级。我们的发现提供了一种高效的片上倍频源,为集成化非线性器件提供了重要思路。