基于HDFS的大数据快速可视化系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:itbbs123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展及其在各个领域的渗透,很多公司或组织已经积累了大量的静态历史数据,人们已然意识到这些数据背后所隐藏的巨大价值,故对它所揭示的知识进行挖掘正在成为一个时代热点。可视化技术是大数据分析领域的重要分支之一,并且有着广泛的需求。海量数据的可视化普遍采用减少不必要的数据量的方式,以快速生成有意义的可视化图形。各领域都存在优秀的采样算法,但是它们从应用背景、使用方法、适用的可视化图表类型、底层物理实现、基于的数据库的原理和特点都各不相同,故本文选择了三种来自不同领域或基于不同数据库、在提高可视化性能上表现突出的三个分别适用于生成折线图、条形图和等高线图的数据缩减技术,统一使用Apache Phoenix作为数据存储方式,并基于这种存储方式设计了相应的快速查询方案,实现了基于约简后数据的等高线图作图算法,提供了基于浏览器的可视化系统用户界面。本文实现的基于HDFS的大数据快速可视化系统具有易用性、多样性、时效性和兼容性。系统具有表单向导式的操作界面和基于可视化工具原生组件的前后台交互式图表缩放功能,提供了折线图、条形图、饼图、雷达图、一般等高线图、填充式等高线图六种图表类型和HDFS静态文件和Phoenix两种可连接数据源,本文通过伴随整个迭代开发过程的各种类型的测试,保证了系统在合适环境下的即插即用,并能满足用户可视化需求。
其他文献
DoS(Denial of Service)类攻击增长规模快,是互联网中广泛存在的安全隐患。其中LDoS(Low-rate DoS)攻击作为一种变异的DoS类攻击,危害程度大,隐蔽性好,难以采用其它DoS类攻击
随着汽车电子技术的发展,嵌入式实时操作系统在汽车电控产品中的地位日渐重要。汽车电子分布式控制工业应用标准OSEK/VDX(以下简称OSEK)作为国际汽车电子行业的通用标准,推动了
学位
随着网络技术和半导体技术的飞速发展,计算机网络已经延伸到当今社会的各个角落,成为生产、科研领域不可或缺的工具,嵌入式实时操作系统的网络化已经是一种基本的需要,这对嵌
学位
为了使纯电动汽车的电池管理系统BMS(Battery Management System)在复杂多变的工作环境下具有较强的可靠性和适应性,本文对Windows CE.net操作系统进行了研究,并提出BMS系统
自然景物的模拟是现在计算机图形学的一个热点,寻求能准确地描述现实世界中各种现象与景观的数学模型,并逼真地再现这些现象与景观,是计算机图形学的一个重要研究课题。影视制作
在计算机视觉领域,运动目标的检测和跟踪是研究的热门话题。由于单摄像头的视野有限,监控大范围场景在多数情况下需要用到多摄像头。在多摄像头的视频监控系统中有许多关键问
学位
ERP管理着企业大量的资源数据和流程,这就要求其需要具有很高的灵活性和稳定性,能快速响应市场的变化和企业业务需求的变更。构件化技术能增加软件的复用,使系统的开发更为高
随着航空航天、军事、汽车电子和信息家电等行业的发展,实时系统被应用到更广泛、更复杂的环境中,并对实时系统的性能提出了更高的要求,而实时操作系统作为实时系统的核心起着决
学位
微内核技术与传统的宏内核相比,微内核将操作系统服务及驱动移出内核的模块化设计大大提高了操作系统的可靠性,安全性,可扩展性和移植性,体现出操作系统发展的一种趋势,因此,
大规模图数据的抽样在社交网络、信息网络和生物网络等图式数据的分析中有着重要的作用。很多现实的网络有的规模非常巨大,有的在持续变化。在测试和研究中,为了合理折衷性能