数据流计算模型及其在大数据处理中的应用

来源 :大数据 | 被引量 : 0次 | 上传用户:milksnake
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今无界、乱序的大规模数据集越来越普遍,并且消费者对这些数据集的处理需求日益复杂,如时间语义、窗口以及处理时延等。针对在无界、乱序的大规模数据集上演进的数据处理需求,探讨了大数据处理中的数据流计算模型。一方面,从执行引擎层面分析了大数据处理中的数据流计算模型所体现的数据流图;另一方面,从统一编程层面分析了大数据处理中的数据流计算模型所体现的数据流编程模型。在此基础上,进一步结合Spark批处理引擎和Flink流计算引擎等多个执行引擎,对比分析了数据流图和数据流编程模型在2类执行引擎中的具体实现。
其他文献
【摘要】利用示波器实现了电缆遥传系统井下信号完整性的测试,并分析测试结果。测试结果表明,该井下电路信号完整性良好,可以确保井下仪器信号数据实时、准确的传输。同时也表明,利用高精度仪器进行信号完整性的测试是可行的。  【关键词】示波器;遥传系统;信号完整性;井下电路  1.引言  石油测井行业中对井下的测试数据精度要求比较高,石油测井中采用多支井下仪器组合测井,电缆遥测井下仪(TCC)是石油测井系统
温度对于发射台机房来说,至关重要;下面简单介绍一种对机房内的温度进行采集并无线传输的系统,本系统最大的特点就是信息的无线传输,省去了传统有线传输的束缚,简化了系统的安装。
【中考预测】2011年是中国共产党成立90周年.中国共产党90年的历程是在不断探索中前进的。有成功也有失败。文化大革命是社会主义建设过程中的严重失误。
由于药师的工作模式将要发生根本性转变,由"以药物为中心"转变为"以患者为中心",为适应这一转变,为患者提供全方位的药学服务,本文根据我院开展临床药学服务的经验和个人不成
Curved composite bridges and curved steel bridges have already been constructed around the world;however,the calculation for shear buckling of curved bridge web
在上世纪各项科学技术及社会需求的带动下,电力电子技术出现并得到了很大的发展。它主要是使用电力电子器件对电能进行变换和控制的技术,即应用于电力领域的电子技术。本文基于
液晶显示由于自身的优点在电子设备中广泛使用。文章详细介绍了以ST7920为控制器的中小尺寸液晶12864实现显示的硬件与软件设计方法。该方法具有一定的实用性,对于设计其他形
【摘要】根据工作实践,通过对雷害的分析,提出了35kV架空线路防雷的措施,达到减少架空线路雷击跳闸事故的目的,保证线路的安全运行和对用户不间断地供电。  【关键词】线路防雷;雷击形式;接地阳极  一、萍乡市湘东供电公司35kV线路现状  湘东供电公司共有35kV线路10条,线路长度约145km,半数以上的线路处于丘林地带的小山区和水网平坦地带,线路起始两端1~2km的线路架设架空地线,线路中间绝大
本文简述了化工某装置下料阀的加热器控制原理,分析了加热器在装置运行中出现的故障原因及处理方法。