针对随机森林算法不能处理异常检测问题的局限，提出了一种基于改进Graham扫描法的单类随机森林，实现了随机森林在只有单类样本时的分类应用。在Graham扫描法的算法原理以及操作流程的基础上，引入了边界软化率的概念，增大了数据点外边界的柔性。利用射线法生成与输入样本反分布的数据集，使得传统的随机森林模型经过训练后成为拥有精细决策边界的单类随机森林。训练好的模型输出待测数据的异常概率。在XJTU-SY轴承数据集上验证了本方法对于滚动轴承状态监测的有效性。分析结果表明，单类随机森林能准确分离正常运行数据与退化数据，并且可以通过调整边界软化率来实现异常值检测准确率与召回率的平衡。阈值取0.5时，硬边界的单类随机森林可以实现98.37%的检测准确率以及0.972的召回率，而0.05的边界软化率可以得到最小的退化后期预测均方根误差，较硬边界降低1.01%。随着阈值的增大，边界软化提供了有力的召回率保障。