基于Flink平台的数据溯源系统研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:gxlzx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于互联网的普及以及上网人数的增长,人们网络活动产生的数据量也呈现了爆发性地增长。大数据在为各行各业的发展提供帮助和价值的同时,也给信息安全带来了新的挑战。特别是在一些企业和各类机构中,对于大量流入流出的数据,如何确保流量都是安全的,是一个非常重要的问题。而数据溯源技术,就是这样一个追溯数据的来龙去脉的技术,这对于各类组织的数据保护和机密信息流通控制也是非常有帮助的。数据溯源是一个相对较新的研究领域,主要是记录特定数据的传播途径,并在事后做到可追溯的一种服务功能。它作为企业信息安全控制的重要功能,一直以来面临着与高昂的管理成本冲突的尴尬。因此本文提出了一种全新的数据溯源算法,尝试通过主动监听企业内部流量数据的方式,并通过协议还原算法还原出文档内容,归档后根据结果来记录传播路径,从而破除传统的数据溯源技术所具有的瓶颈。为了适应大数据时代,数据量大,吞吐量大的特点,本文还在提出了新的算法之后,将算法迁移至了大数据流计算平台Flink上。依托Flink优秀的分布式特性实现灵活的调度,配置和可扩展性,保证了稳定而可靠的数据溯源实现。流程上,通过在关键节点设置抓包节点,采集流量数据,并将数据通过消息中间件投放到流处理系统中。流处理系统首先负责还原文件,最后将文件交给特征提取模块。特征提取模块对文件分析完成后落地到存储,等待数据溯源请求比对。
其他文献
民族主义是当今世界最引人注目的政治现象和文化现象,而民族主义的产生,发展又与世界现代化的历史进程密不可分,中国民族主义产生、发展的历史就是一部中国人民为实现现代化而奋
7月10日,正值第21届上海国际广告技术设备展览会期间,艾司科与上海柏连艾广告有限公司举行了康斯博Kongsberg XN24数字切割机授牌仪式。  上海柏连艾广告有限公司始建于2003年,是以激光数码冲印输出、数码打印,高精度写真,设计、户外数码喷绘制作为一体的专业化输出中心。  公司自成立以来专注于高端数码广告制作,依托国际最先进的数码广告制作设备,以规模化生产,标准化管理赢得客户,以此为基点
在查阅大量文献的基础上,研究了勒纳一生的主要科学活动.通过考查勒纳所做的一系列科学研究工作,提示了他对物理学发展的主要贡献.根据勒纳的科学活动,指出了他过份追求名望
介绍一次锅炉汽包筒节卷制整体脆断的现象,通过金相实验分析找出原因,改进工艺方案杜绝汽包筒节脆断的现象。
高压直流输电技术因其具有输电容量大、输电距离远等优点,建设高压直流输电工程已成为我国输电工程近些年来的发展趋势。但特高压直流输电线路电晕效应使周围的电磁环境十分
本文通过对网络绿色产品的定义,即网络绿色产品是为网络环境带来积极影响的产品,分析其在不同场景中的应用方式,探究网络绿色产品的设计方法,并通过设计实践尝试解决目前存在
文章介绍了液力偶合器用于调节大型锅炉风机风量的节能原理,分析比较了应用液力偶合器调节风机风量与传统的节流调节风机风量的节能效果,实际应用得出:采用液力偶合器调节风机风
本文研究了地震激励下高层建筑多重TLD的控制方法及其参数的优化,首先,阐述了TLD系统的工作原理和MTLDs(即多重TLD)系统的参数;其次给出了单自由度结构MTLDs体系的运动方程;分析了MTLDs系统的参数对结构反应
桂林地区地处低纬度区,属于亚热带季风季候,全年多雨,雨热基本同季。在这种温湿多雨的自然条件下,土体容易因为浸水,导致土体强度降低,浸水后的红黏土极易因湿化崩解而出现土体软化,出现诸如边坡破坏、冲沟、地基失效、洞穴发育和滑坡等常见的地质灾害事故,进而造成不必要的经济财产损失。随着红黏土在回填工程中被广泛运用,包括路基工程等许多工程建设项目中的地基回填也越来越多的使用红黏土。本文从红黏土作为回填土进行
本文针对软化非线性结构体系动力方程,分析了作者推导出的求解方程的显式差分格式的收敛性及稳定性,分别给出了结构体系处于非线性正刚度及屈服后的负刚度反应阶段时显式差分