纳米材料由于受量子尺寸效应、介电限域效应、表面效应和局域场效应等的影响，而具有比体材料大得多的非线性光学效应，成为人们研究的热点，尤其是有机-无机复合纳米材料集无机、有机性质于一体，在功能材料特别是光电应用中已经显示出了巨大的发展潜力。　　 本论文系统总结了近年来国内外关于纳米材料的光学非线性特性的研究成果、研究方法及相应的理论分析方法。详细介绍了非线性光学的基本理论，包括纳米材料的基本物理性质、以及非线性吸收、克尔效应和非线性折射方面的效应，并结合非线性材料的自聚集和自散焦特性，介绍了材料的非线性效应在实验中的测量方法。总结了纳米材料的非线性光学性质，包括共振非线性光学效应和非共振非线性光学效应，并从k-k关系出发，推导了简并情况下的克尔系数，用C语言模拟非线性折射率的变化曲线。　　 最后，在分别讨论了无机量子点材料的非线性效应和有机材料的非线性效应之后，根据有机-无机复合纳米材料的激子理论，建立了杂化激子相互耦合以及激子跳变的理论模型，通过理论模拟和计算证明了可以通过调节无机材料的长径比来实现有机-无机复合纳米材料体系的非线性效应的增强。这种激子间相互作用的模型理论，开辟了新的非线性光学材料的设计思路，为发展新的非线性光学材料的实验研究提供了理论依据。　　 该研究得到了国家自然科学基金（No.10774078）和教育部新世纪优秀人才支持计划（No.NCET-06-0213）的资助。