基于分布式计算系统的高效生物数据传输关键技术研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:yediwuqiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在“人类基因组计划”的推动下,给生物行业带来了巨大的变革,从而使生物数据的产出能力越来越强,也越来越多。相比于传统的数据,生物数据的内部结构极其复杂、数据量巨大且种类繁多、数据来源广泛、对传输QOS的要求更高。并且生物数据是生命科学领域研究的基础。而生物数据的传输是对生物数据进行整合以及分享的重要前提,然而,如何对生物数据进行高效传输仍然是一个非常棘手而有巨大意义的问题。本文在对已有数据传输方式调研和分析的基础上,对基于分布式计算系统的数据传输进行深入研究,并对其关键传输技术提出了改进方案。论文的主要贡献如下所示:1,在基于分布式计算系统的生物数据高效传输整体架构下,分两种场景讨论,首先针对生物数据在没有副本的业务场景下,本文提出了基于生物数据历史访问表的迁移预测算法,即对生物数据历史访问表进行分析得出过载节点和非过载节点,然后构建过载节点和非过载节点的资源迁移关系,并为每个过载节点选择该节点中最受欢迎的生物数据作为迁移对象,此外,为了防止不必要的资源迁移,还提出了基于生物数据访问次数的预测算法来提前预测生物数据的访问趋势,即根据生物数据访问趋势的变化决定是否迁移。通过该算法可以减少节点在资源查询时所花费的时间,减轻过载节点负载,从提高生物数据的传输效率。实验结果表明所提出的算法对生物数据的传输效率具有较大的提升。2,另一种场景是针对生物数据在多副本的业务场景下,本文在基于分布式计算系统中副本复制技术的基础上,提出了基于生物数据的多副本资源调配方法进一步提高生物数据的传输速度,即同样对生物数据历史访问表进行分析得出过载节点和非过载节点,并且通过基于线性规划的目标节点选择算法构建过载节点和非过载节点映射关系,根据映射关系进行生物数据副本的复制,此外为了让副本的个数动态地随系统状态改变,提出了基于副本状态的副本个数自适应算法,来保证生物数据的副本可以随着分布式计算系统状况自适应变化。实验结果表明所提出的算法对生物数据的传输效率具有较大的提升。3,设计并实现了基于分布式计算系统的高效生物数据传输系统,在需求分析的基础上确定系统设计环境以及选择所需的系统开发框架,并对系统模块进行详细设计,包括数据存储模块、数据分片模块、算法运行模块、用户管理模块等等。此外除了系统基本功能实现,为了方便用户使用进一步开发了前端可视化界面,包括注册界面、上传数据界面、算法运行界面、下载数据界面、用户信息界面、节点信息界面等等。将所提出的算法进行系统实现,并在国家生物中心生物数据中心研究课题中得到了应用,使得提出的算法显示出了更强的实用性。此外,本研究同样也可以应用于其他大容量、多源异构数据的同步和传输。
其他文献
在现代生活中,癌症作为一种严重威胁人类生命的常见病和慢性病,逐渐成为人类死亡的主要原因之一。在现代医疗中,癌症的预防远比治疗更重要。而在医学会议中,尤其是癌症会议的同声传译有着及时传递信息和节省会议时间的重要作用。乳腺癌是女性疾病中最常见的慢性疾病之一,在现代生活中严重威胁着女性的健康和生活,也是医疗中最为复杂的疾病之一。作者以2018年国际高发肿瘤论坛会议为背景,选取了其中的乳腺癌会议进行模拟同
高校辅导员既是学生的人生导师,也是他们的知心朋友,更是学校和大学生之间实现有效沟通的桥梁。辅导员主要从事大学生的思想政治教育工作,同时还要管理和指导大学生的学习和
智慧交通作为智慧城市建设的重要环节,它的提出、应用和不断发展,不仅有助于解决城市交通问题,而且有助于我国交通强国战略的落实,是提升政府治理能力,实现国家治理现代化的重要手段。但目前我国各地推行智慧交通建设存在进程缓慢、覆盖范围不广、涉及内容不深、跨领域关联度不高和关键技术依赖进口等困境,解决这些问题的关键不仅是要解决信息共享和核心技术研发等问题,更重要的是解决地方政府动力不足的问题。本文基于ASD
本文主要以经济补偿金的定义、与违约金和赔偿金的区别、具有何种法律性质以及重要功能等为理论基础,同时对国外及其他地区有关立法规定的思路及内涵进行了研究,对我国现行经济补偿金制度的完善路径进行了探索。同时,本文立足于我国现有的立法、实际运行状态及司法状态指出了该制度存在的主要问题,并就这一系列问题,结合笔者在研究国外及其他地区相关立法规定时获得的启示以及我国国情有针对性的提出了一系列完善我国劳动合同法
在当今全球经济现代化、区域经济一体化的发展时期,区域产业协作已备受关注。随着数字经济时代的到来,全世界范围内开启了大规模的区域产业协作发展策略,该策略的实施不仅是国家经济结构优化调整、实现其全球战略布局、提高整体竞争力的途径,还是促进产业优化升级、技术进步和推进经济增长的有效过程。区域产业协作是地区经济发展到一定阶段时期呈现的一种经济现象,通常被视为区域间经济联系的重要特征,与区域经济演化进程长期
在短波通信系统的研究中,需要对研制的通信设备进行测试。若基于实际通信链路进行测试,需要花费较大的代价,若使用实验设备测试,则需要搭建环境,并需专用的设备即基带信道模拟器或射频信道模拟器进行测试,费时费力。若将信道模拟功能添加到短波通信系统的基带发送单元中,研制人员可根据需要,随时随地设置不同的信道条件进行测试,在很大程度上减少了开发成本与周期,具有较强的实用价值。因此,本文依据科研项目的需求研制了
卫星导航系统能为陆、海、空三大领域提供全天候以及全球性高效率的实时导航服务,被广泛地应用于军事、民用领域。然而,由于卫星导航信号到达地面的强度十分微弱,容易受到各种有意、无意的干扰,从而导致定位失败。因此,研究应用于卫星导航系统的抗干扰技术是提高其实用性的有效途径。在各种抗干扰技术中,自适应空域滤波技术通过阵列天线波束调零响应抑制来向干扰信号,能很大程度提高接收机的抗干扰能力。本文研究了自适应空域
近年来,关于移动机器人及其定位的研究引起了广泛的关注,这是因为定位在推动移动机器人的自主行为方面发挥着重要作用。目前,大多数室内定位系统都能在理想环境下提供较为精确的定位结果。但在实际室内环境中,传感器与移动机器人之间的距离测量容易受到非视距传输的影响,造成移动机器人的定位精度下降,甚至出现定位失败问题。基于上述分析,本文针对室内非视距环境下的移动机器人定位问题开展了研究工作,主要内容可以分为以下
全球化的背景下,“一带一路”倡议成为目前中欧关系的热词,在与欧盟成员国之间的文化交流以及跨国合作不断进行的过程中,我国迎来新的发展机遇的同时也面临着与欧盟国家及其企业的合作与竞争。如今的竞争环境下,无论是宏观国家层面的竞争,还是微观企业层面的竞争,在获取竞争优势方面,商业秘密俨然成为了最有力的武器之一。然而目前的现状是,我国现有商业秘密法律制度以及目前企业中对于商业秘密的保护现状难以让我国企业在合
目的:支气管肺发育不良(Bronchopulmonary dysplasia,BPD)是一种在临床上表现为是一种好发于早产儿中的慢性肺部疾病。此疾病主要表现形式为肺泡化阻滞以及肺微血管发育异常,并