近年来,弱磁传感在医疗、磁异常检测、工业诊断、考古学以及矿产勘探等领域发挥着越来越重要的作用。随着科技不断进步,各领域对弱磁传感器提出了更高的要求。本论文采用基于无自旋交换弛豫（spin-exchange relaxation-free,SERF）的单传感光源、双气室结构原子磁力仪的总体方案,研究提高原子磁力仪磁场探测灵敏度的方法、信号检测的原理以及磁场线圈的设计等,从而实现高灵敏度与微型化的研究目标,本论文主要研究内容如下:1、研究了基于SERF态原子磁力仪的工作原理,探讨了塞曼效应对铷原子的影响,分析了高灵敏度原子磁力仪的工作条件,基于单传感光源原子磁力仪结构,研究了其在直流模式和振幅调制模式下对微弱磁场信号的响应输出。2、设计并制作了与微型化弱磁传感探头相匹配的三维磁场线圈。根据毕奥-萨伐尔定律,仿真分析了三维磁场线圈产生磁场的均匀性以及线圈常数。在实验测试中,原子气室所处空间区域内,亥姆霍兹线圈产生磁场非均匀性优于0.2%,鞍形线圈产生磁场非均匀性优于1.83%,能够满足系统对均匀性的要求。3、基于尺寸为20 mm×20 mm×80 mm的单传感光束、双气室的微型弱磁传感探头,设计并搭建了微弱磁场检测系统,并对系统中泵浦光源频率、磁场调制幅度和调制频率等关键参数进行优化,以提升系统对弱磁信号的的响应,从而提高系统的磁场探测灵敏度。实验结果表明,系统在10 Hz～40 Hz频率范围内,两个单气室灵敏度分别为36 f T/Hz1/2和30 f T/Hz1/2。在双气室结构的梯度磁场测量中,极大抑制了光源噪声和共模磁场噪声,进一步提高了系统的磁场探测灵敏度,达到了17f T/Hz1/2。4、研究和测试了弱磁传感系统的磁场测量动态范围。通过调节磁屏蔽筒内的剩余磁场,并利用传感探头上的磁场线圈对剩磁进行补偿,采用双气室结构检测传感头在不同剩磁下的灵敏度。当系统的探测灵敏度优于30 f T/Hz1/2的情况下,系统的磁场测量动态范围为±80 nT。