基于Hadoop的呼叫追踪模拟系统的研究与应用

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:jf8410
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着第三代通信网络的日益完善和普及,网络的规模急剧变大,设备的复杂度也大大提高,如何快速解决呼叫故障,保证网络运行的质量,成为网络维护人员的当务之急。呼叫追踪作为信令追踪衍生的新功能,是网管系统的一个重要子系统,是解决呼叫故障、保障网络运行质量的强有力手段。不同公司网管系统的差异导致目前市场上的信令追踪系统不能很好的满足实际应用需求,而用户数量骤然增多导致大量追踪数据的处理会降低网络优化产品的整体性能,因此研究并开发与网管系统配套的、适合处理大量数据的呼叫追踪系统是必要的。本文针对呼叫追踪系统处理大量数据的需求,分析了数据、环境等对系统性能的影响,结合近些年在大规模数据处理领域中使用较多的Hadoop平台,设计并实现了一个基于Hadoop的呼叫追踪模拟系统,模拟实际的应用场景,进行算法的分析研究及系统性能的评估。本文的主要研究工作如下:(1)设计并实现一个基于Hadoop平台的呼叫追踪模拟系统,分析系统的三个主要模块(模拟数据源、数据处理、GUI界面)的功能,并完成具体的设计。其中模拟数据源模块从真实的数据样本中不断模拟出数据,并将数据写入分布式文件系统HDFS中;在数据处理过程中,编写合适的Map和Reduce函数,利用Map/Reduce模型实现呼叫追踪数据的分布式处理;(2)在系统实现及现有硬件资源的基础上,研究部署系统的网络拓扑结构、软件环境的配置,并结合模拟数据源中的可配参数设计全MR与非全MR数据、压缩与分压缩数据、伪分布式和小集群三组对比实验,研究不同的因素对系统中作业运行时间的影响;(3)研究Hadoop常用的三种调度算法(先进先出、计算能力和公平调度),在此基础上根据呼叫追踪系统的实际应用场景,对公平调度算法进行改进。将作业池的划分按照数据类型进行,并通过理论分析和推导,设计了基于作业优先级、用户优先级和可配的等待时间阂值相结合的作业权重计算,并对改进后的算法进行仿真实验。本文通过设计并实现基于Hadoop的呼叫追踪模拟系统验证了将Hadoop应用于呼叫追踪数据处理中的可行性;针对呼叫追踪系统的实际应用场景,对Hadoop的公平调度算法进行改进,设计了基于时间阈值的组合优先级调度算法,并验证了该调度算法下系统资源分配的合理性及该算法对系统需求的满足。
其他文献
任何一种基于单一特征的车辆识别技术都存在一定的缺陷,例如车牌识别技术不能保障遮挡,污损以及缺失车牌的识别率,而且也不能检测套牌等不法行为;车标识别技术不能唯一确定车
随着10个超导量子比特的计算机的实现,量子计算与量子信息的发展将会受到越来越多的关注。量子并行计算是量子计算机远远快于经典计算机最主要的因素之一,而量子相干性又是量
随着数码技术的发展和进步,数字图像采集设备采集设备在日常的生活中得到了广泛地应用,数字图像已经与日常生活紧密的联系在一起。针对数字图像进行修复的数字图像修复技术由
随着计算机技术和癌症病理诊断技术的不断进步,癌细胞图像自动分析识别技术逐渐成为现实。利用癌细胞图像自动分析识别系统对癌细胞图像进行识别判断,可以为快速准确地诊断和
基于外辐射源(广播、电视、手机等商业信号)的无源雷达系统由于良好的“四抗”性能已经受到各国雷达界的重视。利用雷达接收机对空中运动目标定位、测速、识别乃至成像等都具
啤酒行业的发展对社会经济水平和人们生活品质的提高起到了至关重要的作用。但是,我国的啤酒工业生产方式较为传统,啤酒生产过程的监控水平较低,在一定程度上影响了啤酒生产的质
随着企业业务复杂度不断提升,数据规模不断扩大,商务智能系统已经成为各大行业智能信息分析处理的热点,它不仅从结构上改变了传统模式的信息系统,而且在技术上,它结合着计算
在石油运输业蓬勃发展的今天,石油泄漏事故的发生频率越来越高,给事故周边人们造成了巨大的经济损失,甚至带来生命危险。与海洋相比,内河与当地居民的日常生活关系更加密切,
IEEE802.15.4协议是IEEE标准化委员会针对低速无线个域网(Low-Rate Wireless Personal Area Network, LR-WPAN)所制定的低速率传输、低能量消耗、低成本、低复杂度的通信标准
随着电子通信产业不断地发生着日新月异的变化,各种新技术新工艺也在不断地冲击着军事国防领域的改革创新。面对严峻的现实情况我们不得不居安思危,在早些年引进的不少先进的