磁性相互作用是关联电子体系中各种新奇量子态的重要驱动力之一。作为基于大科学装置平台的先进测量手段,中子散射和缪子自旋驰豫/旋转/共振技术（μμSR）在研究静态磁结构和动态磁激发方面具有不可替代的作用。利用非弹性中子散射技术,我们可以测量非常规超导体的自旋激发谱并研究其与超导之间的关系;利用弹性中子散射或μSR技术我们可以确定材料中的磁结构和磁相变温度;μSR技术还可以研究样品内部磁场的静态分布和动态涨落。本文重点内容围绕着铁基超导KCa2Fe4As4F2的中子自旋共振模和二维量子磁体Sr2CuTe1-xWxO6中的随机自旋单态研究展开,内容分为如下四个部分:1、KCa2(Fe1-xNix)4As4F2铁基超导单晶生长和相图建立。我们利用KAs作为助溶剂,成功生长出一系列KCa2(Fe1-xNix)4As4F2单晶。通过X射线衍射、电输运、磁性测量等表征手段,详细地绘制出KCa2(Fe1-xNix)4As4F2的相图。结果表明,在这个准二维双层结构铁基超导体中,Ni掺杂并不能诱导出任何磁性相变,而是主要起到杂质散射作用,逐步抑制了超导电性。2、本章为本论文的重点之一,KCa2Fe4As4F2单晶的中子自旋共振模及其色散关系研究。利用中子三轴谱仪,我们详细测量了KCa2Fe4As4F2在超导态和正常态的低能自旋激发。我们首次观察到一个具有朝下色散的二维自旋共振模。这种行为与(9波配对的铜氧化物高温超导体中的自旋共振色散类似,但是却不能用基于s±波配对的自旋激子图像来解释。而且,自旋共振能量ER大于任意两个空穴型、电子型口袋的超导能隙之和。这些结果极大地挑战了人们对于非常规超导体中子自旋共振模起源的理解,同时也表明,当铁基超导体同样具有准二维特性时,其电子态行为会与铜氧化物超导体类似。3、Rb1-xKxFe2As2的单晶生长与中子散射研究。我们利用KAs和Rb As混合助熔剂的方法,生长出了高质量的Rb1-xKxFe2As2单晶样品,我们发现其Tc在中间掺杂最低,可能来源于杂质散射。我们还利用时间飞行非弹性中子散射谱仪测量了RbFe2As2的低能激发谱,磁激发信号峰出现在非公度的位置上且随着温度的升高半高宽也随之升高。该材料中是否存在自旋向列涨落,还需要进一步的实验测量来确定。4、本文的另一个重点是利用中子衍射和μμSR技术研究二维量子磁体Sr2CuTe1-xWxO6中的磁性质。在x=0的样品中,存在着长程的Néel型长程反铁磁序。该磁有序在W含量很少时就被抑制（x=0.03）。然而,Néel型短程自旋关联在较高掺杂浓度仍然存在。这种极端的磁性抑制效应,可以在二维J1-J2海森堡模型框架下,考虑Te和W周围的超交换相互作用强度非常不同来解释。当x>0.03时,缪子自旋弛豫速率表现出动态指数z>2且随着掺杂浓度增加的量子临界标度行为,符合随机自旋单态的理论预言。因此,我们认为在Sr2CuTe1-XWXO6体系中,可以实现二维随机自旋单态。