面向数据分发系统的改进型并行I/O研究

来源 :自动化技术与应用 | 被引量 : 0次 | 上传用户:qinzhenxing
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着用户和业务复杂度的增加,数据仓库的数据对外服务能力急需提升,数据分发系统作为统一接口分发管理,不可避免地面对多用户数据访问的并发性通信阻塞问题。本文利用开源的Kettle工具构建数据分发功能应用,运用并行计算思想提升串行算法效率。在并行化过程中,详述了传统的数据分发收集并行I/O方案,并构建了时间估计方程。在分析总结其瓶颈问题的基础上,借鉴GoogleFileSystem的思想,提出了基于元数据的并行I/O改进型新方案。实验证明,不论并行计算进程数(计算单元数)多少,基于元数据的并行I/O方案比数据分
其他文献
我国是世界上最大的纺织品服装出口国,加入WTO后,由于我国纺织品服装价廉物美,出口在全球所占比重逐年增长,有关国家特别是发达国家为维护自身的经贸利益,利用技术上的优势,
本文通过对六角车床各项传动系统的数控技术改造,实现了机床的自动操作,提高了机床的加工精度。
对新区2500m^3高炉炉顶液压站存在的问题进行考察分析提出改造措施,并实施改造。使得该液压系统可以在高炉正常生产时予以维护、检修,消除影响高炉装料和系统正常工作的隐患,确
在资源贫乏和人类生存环境比较恶劣的大背景下,要建设有更高效益的水泥项目,全面提高水泥建设项目管理水平和整体竞争能力,需要科学的指标体系和评价方法。本文从宿州水泥建
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
随着电力体制改革的深入和电力市场的基本形成,电力企业正面临着前所未有的机遇和挑战。电力企业原有依靠国家计划的运营管理方式已难以适应电力企业的进一步发展,必须重新探
CXFⅡ/KYFⅡ型浮选机是一种能耗低、浮选效果好、资源回收率高的浮选设备,被广泛应用于浮选选别 工艺中.随着徐州铁矿集团有限公司扩大产能,选矿厂磨浮车间磨选能力需求达到5
针对目前市场上三电极测试产品存在的体积大、价格昂贵等问题,在对三电极工作原理分析的基础上,设计了三电极系统的结构模型,并提出了一种新型的基于STM32微控制器的三电极测
本文探讨了现代主义艺术与低俗文化或大众文化的材料之间持续不断的纠缠对现代艺术的影响。通过对印象派、集合艺术、偶发艺术等流派艺术家作品的研究,阐述了低俗文化与现代
提出模糊控制方法用于解决门式起重机定位系统存在的大惯性、强耦合和非线性等问题。通过离线计算和在线查表的方式完成软件程序的设计并采用PLC实现模糊控制器。Matlab仿真