在强关联电子体系中,电荷、轨道、自旋、晶格等自由度之间的相互作用一直是研究的热点。这些自由度之间的竞争和平衡产生了复杂新奇的物理现象,如超导现象、量子相变、自旋有序、拓扑相变、金属绝缘转变等。这些丰富的物理现象来源于不同的有序态或量子涨落之间的竞争和耦合。在这些复杂的相互作用中,自旋轨道耦合效应引起了广泛关注。该效应一般在重原子中表现明显,自旋轨道耦合会产生一些特殊的物理现象,如轨道磁有序、拓扑有序态、自旋轨道Mott绝缘体等。因此有着较大自旋轨道耦合作用和不可忽略的电子电子相关作用的具有5d外层电子结构的过渡金属构成的材料体系成为研究重点。铱基化合物中的自旋轨道耦合是广泛存在的。一般认为,铱基化合物中的物理性质主要是由Ir4+离子决定的。Ir4+离子的外层具有5d5电子构型,5d轨道电子的波函数有着更广的空间延展性,受到的晶体场劈裂能的作用更大,轨道简并更容易被解除,同时在Jahn-Teller效应的作用下能级简并度进一步解除。所以,对于铱基化合物的深入研究,可以更好的解释各种奇异的物理现象,探索其现象产生的机制,丰富人们对凝聚态物质,特别是强关联电子行为和自旋轨道祸合的认识。在本论文中,我们选取了两种不同结构类型的铱基化合物,对其中的自旋轨道耦合和阻挫效应进行研究与探索,取得了以下主要研究成果：1.尖晶石结构的CuIr2S4具有轨道诱导Peierls相变(Orbitally-induced Peierls),并且伴随有结构和自旋的二聚变化等奇特的性质。我们通过对A位Cu位进行替代,研究了碱金属掺杂对轨道Peierls相变的影响。发现随着Na元素掺杂量的增加,升温的相变温度逐渐提高,降温的相变温度逐渐降低,从而使得相变展宽,但是平均相变温度几乎不变。并且Raman测试表明晶格没有发生畸变,推断相变展宽是由其他原因导致。进一步研究发现Na-S最外层电子形成杂化。这就使得系统中存在两种巡游电子：一种来自于金属Ir离子,另一种来自于Na和S杂化产生的巡游电子。相变过程中,Na和S杂化使得电子的巡游性增强,使得Ir4+发生自旋二聚与分解成自旋单态的这一过程被阻碍或延迟,相变需要更多的能量,从而使得相变展宽。由于参与相变的Ir4+的数目并没有改变,所以平均相变温度没有变化。另外相变的展宽也可能是由于存在的杂质或晶格缺陷造成的散射引起的。2.具有烧绿石结构的A2Ir2O7体系中存在较强的自旋轨道耦合效应以及复杂的磁学性质。A位元素的不同使得材料在电性和磁性上呈现出大幅度的跨越行为。我们选定A位为具有较强磁矩的Gd元素作为研究对象,通过电子顺磁共振(ESR)手段对Gd2Ir2O7材料的微观磁性进行研究,发现不仅在TC处发生磁性的转变,而且在低温区(-20K)出现一个新的磁相变,这在以往的研究中没有被发现。TC处的磁相变伴随着导电性从金属性到绝缘性的转变,相变温度以下区域的电阻率曲线可用可变程电子跃迁模型进行拟合。TC处的磁相变是由于Ir4+形成长程有序的all-in/all-out磁基态引起的。20K处的相变仅仅是一个磁相变,没有电阻机制的变化。TC、T*处的两个相变在较高磁场下都会被压制。我们认为T*处的相变是由顺磁性Gd3+的和f-d电子的相互作用之间竞争和平衡的结果。