大数据分析与高速数据更新

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:dfvg43g3544
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据对于数据管理系统平台的主要挑战可以归纳为volume(数据量大)、velocity(数据的产生、获取和更新速度快)和variety(数据种类繁多)3个方面.针对大数据分析系统,尝试解读velocity的重要性和探讨如何应对velocity的挑战.首先比较事物处理、数据流、与数据分析系统对velocity的不同要求.然后从数据更新与大数据分析系统相互关系的角度出发,讨论两项近期的研究工作:1)MaSM,在数据仓库系统中支持在线数据更新;2)LogKV,在日志处理系统中支持高速流入的日志数据和高效的基于时间窗口的连接操作.通过分析比较发现,存储数据更新只是最基本的要求,更重要的是应该把大数据的从更新到分析作为数据的整个生命周期,进行综合考虑和优化,根据大数据分析的特点,优化高速数据更新的数据组织和数据分布方式,从而保证甚至提高数据分析运算的效率.
其他文献
为研究圆形巷道开挖之后,围岩中的剪切应变增量、最小主应力的分布与演化规律,基于包含界面及基体的颗粒体模型,考虑模型参数内聚力的软化行为,应用FLAC-3D软件,模拟出“V”
近一段时期,全国多个城市密集推出吸引人才的政策,被媒体称为“抢人大战”。而耐人寻味的是,尽管吸引人才的途径有很多,但这些城市推出的政策大多聚焦于户籍,即放宽落户条件,甚至施
报纸
信访制度是中国特色的行政救济制度,国外并无信访制度,国外学者的相关研究也是基于请愿制度和监察专员制度等类似的制度展开的。近年来各级政府对把信访维稳问题控制在基层进行
【正】 不知自何年何月始,写匿名信在一些单位又流行起 来了。记得在“文革”时期,由于以阶级斗争为纲,且要求全民年年讲、月月讲、天天讲,从党政机关、工矿企业到里弄街坊,
社会的发展和健康知识的普及,使人们对健康的认识和需求也不断的深入和提高,人们已经不再满足于“有病治病”的医疗模式,集预防性、预测性、个体化和参与性为一体的“4P”医
机器人柔顺装配一直是现代智能工业机器人的重要研究课题。在工业机器人上安装高精度的力传感器是当中最常用的解决方案,但是现今大多数机器人的控制系统很难与力传感器配合使
中国作为世界上最大的烟草生产和消费国,烟草业在国民经济中的地位举足轻重。随着国内烟草生产和销售市场的逐步规范,全国卷烟供需环境呈现整体平衡状态,但各地卷烟生产及销售企
教材是教学活动的重要组成部分,教材建设是汉语国际传播事业的重要基础。国际汉语教学界十分重视教材建设,然而随着世界范围汉语热的出现及汉语学习国际化特征的凸显,现有的
本文研究了实验室模拟普洱茶渥堆发酵工艺技术,首先研究了不同潮水量(30%,35%,40%,45%)下普洱茶的渥堆发酵过程,考察其对普洱茶品质的影响。结果显示:渥堆茶叶水分的高低与堆芯茶多酚
建筑是文化的载体。厦门鼓浪屿地区在近代作为公共租界和城市侨乡,成为外来文化和本土文化的交汇、冲撞点。鼓浪屿的近代洋楼民居在其复杂的文化背景和时代背景之下,具有独特的