流式计算相关论文
文章扩展了Spark-Streaming的功能,使之能够支持地学流式计算场景下的时空查询。首先,设计并实现了一个中间件,该中间件提供了对空......
为推动低延迟、高可靠性及可扩展的大数据流式计算系统的发展，介绍了大数据流式计算及其特征。与传统的批处理方法相比，其在时效性、......
随着物联网技术的兴起,工业企业中机器和传感器等设备每时每刻都在产生海量的设备日志数据。这些数据具有实时性强且没有止境的特......
为了提高无人船路径规划的效率,利用流式计算高实时性模式,在云端构建流式计算框架,分布式完成路径规划。基于5G通信,云端与无人船......
百度凤巢是百度的商业广告系统,依靠每天数亿次的搜索量,为百度和推广商户带来了双赢的局面,是非常重要的收入来源。但是从线上的......
从分析宝日希勒露天煤矿智能运输安全生产监控系统数据存储及计算存在的主要问题入手,研究并确立了宝日希勒露天煤矿安全生产大数......
近年来,随着煤矿信息化程度的提高,采、掘、提、运、通等系统设备在生产过程中产生了海量的安全生产管控数据与经营管理数据,在智......
车辆轨迹重建是指根据车辆的离散GPS轨迹数据推断其在实际道路网络中的连续移动轨迹的过程。车辆轨迹重建主要包括两个处理阶段,即......
第五代移动通信技术（5G）作为新一代信息通信技术,已经成为全球各界高度关注的热门主题。相比于4G,5G网络提供了十倍于4G网络的信息传......
地球物理学的研究范围包括地质、地震、海洋、大气、空间、地电、地磁、重力和物探等多个学科领域,其研究过程包含了探测监测、资......
随着定位技术的普及和无线传输技术的发展，大量轨迹数据正以各种方式快速产生和收集起来，并被广泛用于基于位置的服务(LBS)、无人驾......
当前市场主流处理器的发展趋势是多核化／众核化,即通过提高处理器核心数目保持计算性能的持续增长。最新的图形处理器已经能够提高......
作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考......
实时计算与流式数据处理为实时推荐、实时热度统计、股票实时交易等业务应用提供了有效手段。Storm实时计算框架是开源的分布式实......
当前软件系统朝着云原生、微服务的方向发展,这使得云服务模块众多、模块之间交互复杂,云服务的可靠性保障变得十分困难。一般来说......
目前,推荐系统无论是在电子商务还是在社交网络都占据着举足轻重的位置。传统的个性化推荐系统虽然能为用户提供准确的推荐服务,但......
随着互联网行业的高速发展,网上购物已经成为了人们日常生活中必不可少的购物方式之一,与之而来的信息超载问题显得格外突出。为了......
随着多接入边缘计算(MEC)与5G网络技术的融合,处理实时复杂数据变成边缘节点的重要任务。流式计算能够高效处理通过性数据,适合应......
由于传统电压暂降传播研究方法是基于孤立时间断面的机理分析方法,无法揭示电压暂降在传播过程中的变化规律,文章提出一种基于数据......
移动边缘计算技术将数据中心的处理能力下沉到距离用户更近的移动接入网的边缘,减少业务的传输时延,提高用户体验。作为大数据时代......
随着信息化产业的快速发展,越来越多的行业正面临着数据量巨大、数据种类复杂、数据处理速度要求更快、数据计算准确性要求更高等......
学位
随着云计算、物联网、人工智能和5G等新兴信息技术的不断发展,传统的批处理计算模式无法适用于海量实时数据的处理和分析,基于流式......
学位
本文针对大数据环境中流式计算应用所呈现出的诸多鲜明特征进行了系统化的分析,并从系统架构的角度,给出了大数据流式计算系统容错......
学位
互联网的高速发展,涌现出大量的数据分析需求。传统的数据处理方式只能在数据积累后在磁盘中计算,并且运算时效长,数据量有限。以......
云计算、移动互联网和社交网络等新兴信息技术和应用模式的迅速普及,致使全世界数据量剧增,推进人类社会进入海量数据时代。如何从......
大数据流式处理作为新的容错、分布式的实时计算系统,其主要体现在分布式远程的调用、实时分析、在线机器学习、持续计算以及数据......
随着网络的迅速发展,使得互联网上的信息越来越多,人们越来越不能从海量的信息中获取对自己有用的信息。当用户使用搜索引擎进行搜......
流式计算是大数据处理领域中一类重要的计算形态。流式大数据处理平台以实时产生的数据作为输入,数据源源不断地流入到相应的处理......
大数据时代让网络爬虫成为信息获取与数据采集的利器,也让爬虫成为了一把双刃剑,恶意爬虫不仅导致网站访问速度变慢,还会泄漏隐私......
随着航天技术和遥感技术的快速发展，我国遥感卫星数量不断增多，通过遥感卫星获取的大量信息，在国民经济和国防军事的各个领域得到广泛......
针对流式计算系统计算和存储能耗过高的问题,改变流式计算中内存的存储状态,提出了一种内存节能策略(ESFM).首先,明确内存中不同状......
近年来,为强化路面动态监控,各级公安交通管理部门开始大规模建设车辆智能监测记录系统(以下简称卡口系统),随着卡口系统接入的卡......
期刊
作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制......
随着大数据与人工智能技术的飞速发展,高性能,实时性的流式计算系统逐渐取代传统基于数据仓库的批量计算系统.Apache storm作为一......
目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪（Mingant U Sp Ectral Radioheliograp......
计算机和互联网的飞速发展推动世界进入了大数据信息时代,传统技术已经不能满足海量数据处理的需求,很多大数据的处理技术和框架不......
阐述了一种高性能分布式复杂消息处理引擎的设计方案,这种引擎改进了传统复杂事件处理过程(CEP)处理引擎扩展性问题。新的设计方案......
复杂事件处理是支持大数据处理的流式计算平台的核心技术之一。CEStream语言作为一种新型的事件流处理语言,支持分布式环境下的复......
流式计算形态下的大数据分析一直是当前需要解决的问题，而且研究成果和实践经验较少。随机森林方法是目前应用较多的分类算法，但在流......
为满足企业决策者低成本高效率的通过获取、分析用户各种行为实时产生的各类信令事件的要求,提出了Flume-ng+Kafka+Storm+Esper+Zo......
互联网产业的迅速发展在带来数据规模爆炸式增长的同时,也使大数据呈现出越发鲜明的流式特征,传统的基于MapReduce的批处理模式难......
天气是人们出行、耕作、活动等最关心的事情,好的天气往往给人们带来好的心情。在古代,古人只能依照一些距离相对较近的事物作为参......
随着Web服务技术在分布式系统的广泛应用，Web服务正逐步成为Internet环境中资源封装的标准形式，Web服务粗粒度、松耦合等特性在增加......
互联网时代，网络舆情的庞大数据规模和舆情分析的计算复杂性，使对网络舆情的分析和实时掌控变得愈发困难。面向快速、不断产生的网络......
随着我国交通压力的日渐增大，传统的交通分析监控系统已经不能满足现在我国交通监测及管理的需要。近年来随着大数据的不断发展，采用......
IDC报告称2011年全球将产生19ZB（IZB=10亿TB）的数据，并奖：2012年称之为“BigData”年，可见大数据处理的重要性；目前Facebook、淘宝等一线......
随着互联网的迅猛发展,越来越多的互联网广告开始出现.互联网广告以其精准,快速,高效的投放,给广告主带来了丰厚的回报.通过对广告......
针对通信运营商突发事件场景的实际网络运营保障需求,基于信令大数据,应用流式计算技术,采用GIS圈选场景的方法,设计与实现了突发......
