钓鱼网站,通过模仿一些合法网站,如银行等,欺诈互联网用户,非法获取其财产,并一直威胁着人们的网络空间安全。因此人们需要更有效的技术来防御钓鱼网站攻击。本文设计了基于URL的特征以及结合URL和网页特征的检测方法。网站URL特征可以大致分为三类;基础特征、字母频率特征、编辑距离,其中编辑距离特征提取策略为本文创新特征。实验证明,该特征可以有效提高模型准确率,最终分别在4000和40000条网址数据集上准确率为0.946和0.959。特别是使用Aho-Corasick算法进行URL特征自动提取,平均处理时间为14.1 ms/条。本文还提出了三类网页特征:网站内外链数目、前向链接和站内链接、是否包含登录窗口。通过对GBDT分类器模型进行参数调优,最终结合URL和网页特征,模型准确率为0.976,可以有效抵御网络钓鱼攻击。由于网页特征提取耗时较久,本文提出基于MongoDB+ES,对海量网站特征值进行预存储和查询。其同步特征值和查询平均时间为0.317 ms/条和17.914 ms/条,大大提升了检测效率。由于网页访问的不确定性,本文训练了基于URL特征的GBDT分类器A和基于全部特征的GBDT分类器B,包括单个网址和批量网址检测两种功能。