虹膜检测是虹膜识别技术的基础和关键。虽然目前存在许多不错的虹膜检测方法,但在非受限场景下,方法的稳定性仍易受到复杂背景、遮挡、不均匀光照等因素的影响。本文重点研究非受限场景下的近红外虹膜检测问题,并分别提出了基于LRND和DTS的虹膜检测算法以及基于Refined Mask RCNN的虹膜检测算法,具体如下:基于LRND和DTS的虹膜检测算法主要解决虹膜的区域级检测问题。首先,本文提出新型特征,即局部区域亮度规范差特征（LRND特征）和相应的虹膜区域级表征方法;然后采用双阈值树桩（DTS）作为弱分类器,并结合GentleAdaBoost算法和软级联得到强分类模型;通过构建特征金字塔,解决了多尺度虹膜检测问题;此外,采用非极大值抑制算法进行检测后处理,以解决多个相邻检测框的交叠问题。实验结果表明,该方法在CASIADistance和MIR-Train双目虹膜数据库上的平均召回率和平均精度分别为99.45%和99.35%,每张图耗时约0.04s,证明了该方法具有较强的区域级检测性能。基于Refined Mask RCNN的虹膜检测算法对应的是一个多任务集成模型,可以同时解决虹膜的区域级和像素级检测问题。该模型是在原始Mask RCNN框架上进行优化,通过调整实例分割网络的输入和模型的学习方法,解决了 Mask RCNN存在的预测掩模与检测框之间对应区域的不一致问题。本文还对该模型提出了一系列提升方案:（1）针对特征主干网络提出基于阶段残差的网络结构优化,从而扩大主干特征的表征空间;（2）提出一种基于链式级联的多孔空间金字塔池化（CASPP）结构,从宏观角度实现了像素级的密集预测和基于类的语义分割;（3）采用大批量样本学习和在线数据扩增,以强化模型训练并提升模型场景自适应能力。实验结果表明,该方法在CASIA双目数据库上的区域级检测召回率和精度分别为99.61%和100%,每张图耗时约0.260s,在CASIA Thousands单目数据库上的区域级检测召回率和精度分别为99.83%和100%,每张图耗时约0.178s,像素级检测的mIOU为96.96%,证明该方法具备较强的多功能检测性能。综上所述,本文分别从传统机器学习和深度学习两种路线出发,提出了相应的近红外虹膜检测算法,它们都成功实现了高效率和高精度的虹膜检测。