大规模网络数据高性能采集与智能分析

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:wekey
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着互联网技术的飞速发展,每时每刻都有数以千万计的用户接入互联网并产生海量网络的数据。海量的网络数据承载了丰富的网络状况信息和用户行为信息,它们对监测网络运行状态、改善网络运维管理、理解用户行为、挖掘用户意图具有重要意义。在网络链路中实时流动交互的是人们难以理解的二进制编码,因此对其进行高性能地采集并解析为更容易理解的结构化数据是十分重要的。同时,采集得到的网络数据具有数量大、类型繁杂、价值密度低等特点,只有合理利用大数据领域相关技术对其进行高效处理和分析才能挖掘出其背后的价值。本文首先阐述了自研网络流量采集系统的框架设计及其核心模块的技术选型。针对数据特点设计了合理高效的内存模型、流表结构以及流记录关联算法,通过实验对系统性能以及输出结果的准确性进行了分析。其次,使用Spark将采集系统在某局域网出口采集的网络数据抽取为多条反映不同网站上下行流量变化的时间序列数据,使用三种基于时间序列的模型对网络流量进行预测,并对实验结果进行了比较和分析。在此基础上,本文利用外部特征将一维序列扩展为多维,并使用多条序列构成的数据集训练得到泛化能力强的模型,提高了冷启动序列的预测准确性。最后,针对在数据处理和建模分析过程中遇到的计算资源分散、环境运维复杂等问题设计并搭建了面向多用户的网络流量智能分析平台。该平台对接上游的网络数据采集系统,为其提供分布式的数据存储,并利用容器化技术将物理计算资源和上层环境依赖隔离,实现了资源的按需分配和智能调度。本文还实现了平台对分布式训练的支持,并在此之上对网络流量预测模型进行分布式训练,验证了其可以提供有效的加速能力。
其他文献
中国汽车市场在过去十年处于高速发展时期。各大汽车制造商对中国汽车市场持有乐观态度,纷纷在华积极扩充生产线。然而,2018年中国汽车市场销售量首次出现下滑。这意味着中国消费者对汽车的需求有所降低,持续十年的汽车增量市场转变为汽车存量市场。截止2019年6月,中国汽车销售量已连续下降了12个月。2020年上半年,受到新冠肺炎疫情的影响,中国乃至全球的经济遭受了严重的打击。消费者的购车欲望持续下降。从中
学位
分子基磁体在高密度信息存储、分子自旋电子学、量子计算等方面具有潜在的应用价值而备受关注,其中稀土单分子磁体的构筑及性能研究是当前分子磁体的研究热点。本论文旨在探索稀土单分子磁体磁弛豫动力学的影响因素,为设计合成具有高能垒高阻塞温度的单分子磁体提供合成策略和理论依据。首先,选择具有强磁各向异性的稀土金属Dy(Ⅲ)为顺磁中心,结合β-二酮类配体和双齿螯合配位模式的辅助配体共同构筑[DyN2O6]型单核
由于中师学生的生源较差,如何让数学学习不良中师生学会自主学习,提高他们自我监控的能力。本文通过对数学学习不良中师生的数学自我监控现状进行调查,研究数学学习不良中师生自我监控的特点及其干预效果,并提出针对性的建议。研究一,采用数学自我监控能力问卷对五年一贯制中师阶段一至三年级学生进行调查,探讨数学学习不良中师生的自我监控特点。研究二,利用自我提问和自我解释整合策略对数学学习不良中师生进行自我监控干预
近几年我国民俗旅游作为一类新型的旅游项目,在国内得到越来越多不同旅游群体的追捧和青睐,民俗旅游的开发形式和内涵已经成为学术界、业内人士的重要的研究课题。延边作为少数民族朝鲜族聚居地,拥有着宝贵的朝鲜族民俗风情和民俗文化,充分开发利用朝鲜族民俗风情和民俗文化作为载体发展的民俗村旅游,不仅能为游客带来独特的旅游活动的内容,更能促进当地民俗村旅游的发展和进步,推动经济发展和改善村民的生活。而民俗村内的村
学位
现如今互联网、AI、传感器、5G通信技术迅猛发展,先进的数字电路领域需要同样高性能的模拟部分与之匹配。模数转换器(ADC)作为模拟与数字世界的转换桥梁,高精度Sigma-Delta ADC成为了研究热点。但是目前国内对高精度Sigma-Delta调制器的研究系统并不完善,电路结构制约性高。因此,本文设计了一个高精度Sigma-Delta调制器结构,并针对以上问题从两个方面对优化精度方面做出了研究。
软件老化通常是由软件故障激活的累积效应造成的,从而导致内存泄漏、操作系统资源耗尽等错误,最终致使软件失效或系统宕机。尽管通过抗衰操作可减少因软件老化、失效带来的系统性能下降等不良影响,然而何时实施抗衰操作仍有待研究。软件再生的频率很关键,过于频繁会延长停机时间,频率过低则无法及时解决老化问题,不能保证良好的运行效果。因此何时采取再生策略的重点在于能否准确预测出软件老化的趋势,根据预测结果适时采取再
机器人打磨作业磨削力控制是典型的非线性、状态时变型马尔科夫决策过程问题。针对传统机器人力控制方法对环境模型精确度依赖性高、不确定性环境适应差的缺点,研究了一种基于深度强化学习(DRL)算法的智能控制方案。该方案使传统机器人具备拟人化经验学习能力,在与作业环境交互过程中自适应拟合磨削力控制模型,补偿工具位姿修正误差进而实现恒力磨削作业。课题研究过程中的具体工作内容包括:(1)为满足深度强化学习算法的
学位