论文部分内容阅读
近年来,随着互联网的高速发展,各类信息资源在网络上交叉流通,带来巨大便利的同时,各类网络安全问题如网络钓鱼、网络犯罪、隐私泄露等愈加突出。双结构网络主张在互联网主结构的基础上增加基于“辐射-复制”模型的播存次结构,以物理变革和二元结构的创新思路对当前互联网主结构实施“深度去冗”,并借助统一内容标签UCL(Uniform Content Label)在用户终端提供钓鱼网站检测等网络安全相关服务,以保护用户数据安全。然而传统钓鱼网站检测方法严重依赖于钓鱼网站黑名单,黑名单更新不及时会导致漏报率迅速升高,且传统基于机器学习的钓鱼网站检测方法需要抽取众多特征,导致检测速度慢,准确率不理想。双结构网络中用户每天访问大量网站,对钓鱼网站检测准确率、漏报率、误报率和检测速度要求较高,如何在最大程度上降低检测漏报率和误报率,增加准确率,并快速检测钓鱼网站是当前双结构网络中钓鱼网站检测机制面临的难题。针对双结构网络的需求和特点,本文提出了基于卷积神经网络(CNN)和长短期记忆网络(LSTM)的钓鱼URL(Uniform Resource Locator)检测算法(Phishing URL Detection Algorithm Based on CNN-LSTM,CNN-LSTM-PUDA),在此基础上设计了面向双结构网络的钓鱼网站检测系统(Phishing Website Detection System for Dual-Structural Network,PWD-DSN),以帮助用户实时、高效、准确地检测钓鱼网站。论文的具体工作如下:(1)针对传统基于URL特征的钓鱼网站检测方法准确率较低的问题,提出一种适用于双结构网络的钓鱼URL检测算法CNN-LSTM-PUDA。其将URL看做字符串序列,首先将URL编码成onehot二维稀疏矩阵,接着转化为稠密字符嵌入矩阵,输入到卷积神经网络中,抽取局部深度特征,然后将卷积神经网络的输出输入到长短期记忆网络,捕获URL序列的前后关联,最后接入softmax模型,对URL分类。该算法避免了复杂的特征工程,通过卷积神经网络抽取了局部关联性特征,通过长短期记忆网络学习了URL中的长程依赖,能快速且相对准确地检测出钓鱼网站。(2)针对双结构网络终端用户对准确、快速地检测钓鱼网站的迫切需求,结合双结构网络的特点,在CNN-LSTM-PUDA算法的基础上设计面向双结构网络的钓鱼网站检测系统PWD-DSN。首先设计了钓鱼黑名单和白名单的存储检测和更新策略;接着为了进一步增加钓鱼检测的准确率、降低漏报率和误报率,提出了结合深度URL特征的多元特征融合方法MFFCDUF(Multi-Features Fusion Method Combining Deep URL Feature),该方法首先提取URL特征、网页源码特征和网页文本特征,结合CNN-LSTM-PUDA算法的分类结果即深度URL特征,将四方面特征融合,之后应用XGBoost对融合特征分类;最后,为了加快钓鱼网站检测的速度,改进了softmax模型分类结果,提出了双结构网络中的钓鱼网站二级检测算法TLDA(Two-Level Detection Algorithm,TLDA)。(3)在双结构网络原型系统的基础上,实现了基于上述算法的双结构网络钓鱼网站检测系统。在系统中,使用真实的数据对本文提出的CNN-LSTM-PUDA、MFFCDUF和TLDA算法进行验证。实验结果表明,相比于传统的钓鱼网站URL检测算法,CNN-LSTM-PUDA算法准确率更高,且MFFCDUF特征融合方法能进一步提高钓鱼网站检测准确率;TLDA算法在保障准确率的同时,显著降低了检测时间。