【摘 要】
：
针对传统MapReduce框架中任务节点和工作节点的失效问题,提出了在配置备份节点的分层主从式MapReduce框架中加入单元集群的处理方法.在改进框架中,任务处理的最小单位是单元
论文部分内容阅读
针对传统MapReduce框架中任务节点和工作节点的失效问题,提出了在配置备份节点的分层主从式MapReduce框架中加入单元集群的处理方法.在改进框架中,任务处理的最小单位是单元集群,当单元集群中的某个工作节点失效或者超过时间阙值时,子任务节点则选择该单元集群中的空闲工作节点来分配任务,并且不需要重新传输任务文件分块,这既节省了工作节点重选择的时间,又降低了网络传输的压力.使用该框架针对不同数量的数据块进行实验,工作节点的灾难恢复时间均可以节省25 ms左右,证明了单元集群的处理方法可以有效解决工作节点
其他文献
针对传统的模糊C均值聚类算法(FCM)在图像分割中对噪声十分敏感这一局限性,提出一种自适应的FCM图像分割方法。该方法充分考虑图像像素的灰度信息和空间信息,根据像素的空间位置自适应地计算一个合适的相似度距离来进行聚类分割图像。实验结果表明,与传统的FCM相比,该方法能显著提高分割质量,尤其是能提高对于图像噪声的鲁棒性和分割图像区域边缘的准确性。
移动机器人路径规划技术是机器人研究领域中的核心技术之一。通过对全局路径规划和局部路径规划中各种方法的分析,指出了各种方法的优点和不足以及改进的办法,并对移动机器人
德国艾尔默斯公司(Elmos)日前宣布推出可用于驱动超声波传感器的E524.02和E524.03数字超声波倒车辅助系统系列芯片。该系列芯片以最少的元件数量提供超声波范围检测,在发送模式中,IC直接驱动一个中心抽头变压器。在生产时通过IO引脚,用户在嵌入式EEPROM中可配置驱动频率,发射脉冲功率和其他参数。该芯片同时可以设置短距离测量和长距离测量。在接收模式下,回波信号首先由可编程增益放大器放大,
网络流媒体服务具有数据流量大、服务时间长的特点，同时，高并发的服务请求会造成流媒体服务质量明显下降等性能瓶颈问题。针对这种现象，设计了一种基于Zipf分布规律的两阶段副本
在分析机车车辆企业标准件库的使用状况的基础上，深入研究构建机车车辆企业集团级CATIA三维标准件库的关键技术，并阐述了应用CATIA参数化、知识顾问及Catalog功能创建集团级标
针对单片机应用系统在工作环境中的主要干扰源及由此产生的影响，从硬件和软件两方面提出了抗干扰的综合措施。
英文中的一词多义现象非常普遍，这给英文的词义排歧带来了极大的困难。针对这种情况，提出了一种基于改进的 Lesk 算法的词义排歧算法，即以语义词典 WordNet 为基础，借助 CBC 算法
针对传统建筑行业在设计、施工以及运营维护阶段存在的生产效率低下、施工周期长、维护成本高、重复工作等问题，运用BIM具有的数据共享、方便协调管理等优点，设计和开发了基于B
针对挖掘机中存在的由于临时停车忘记断开电源或熄火、停用时忘记拉下机械搭铁开关,使得电瓶自放电甚至亏电,导致电瓶损坏的现象,首先对非正常工作情况下造成电瓶放电、亏电
构造了具有小世界特性的非结构化P2P网络，并依赖网络节点的兴趣相关度，提出了一个基于小世界与兴趣相关度的P2P网络搜索算法，使查询消息在更高效的路由路径中传播，避免了消息转发