面向多场景的大数据分析系统的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:scfeiyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
论文选题自医疗健康领域国家科技条件平台的资源中心大数据共享服务平台建设项目。项目目标需要汇聚全国各省市的人类遗传资源等数据,构建可提供给卫健委科研所不同需求的研究人员,以开展大数据分析、挖掘和数据服务的平台。项目有以下问题和需求:1)自建大数据分析平台;2)提供灵活的大数据多维场景分析能力;3)提供分布式挖掘场景分析能力,改变当前使用SPSS等软件的现状,以打破数据量和计算量的瓶颈。针对以上问题和需求,本文对多维分析场景和数据挖掘场景相关技术做了深入的研究和分析,设计并实现了面向多场景的大数据分析系统,主要贡献如下:(1)针对多维分析场景,设计与实现了一种混合查询引擎,不需要人工选择查询引擎,实现了查询引擎自动路由,可以同时满足固化分析、探索式分析等多种业务需求,更加灵活地支持多维分析场景中的数据源新增、分析需求变化等问题。(2)针对数据挖掘场景,提出了一种基于Spark的机器学习Pipeline构建方法,明确了可视化机器学习的阶段构成,同时提供了其处理流程的验证与执行方法。为数据挖掘场景提供高效的分析手段。(3)设计与实现了面向多场景的大数据分析系统,囊括多维分析和数据挖掘两大分析场景。本系统是基于Kylin、Spark等开源大数据组件构建的,同时提供了丰富的可视化图表,并实现了通过简单操作来完成复杂的多维分析和分布式机器学习任务。解决了卫健委科研所面向多场景分析、可视化分析的需求。
其他文献
当前,我国农业技术推广服务供给主体结构正在发生重大改变,政府公益性农业技术推广机构以外的市场化服务主体蓬勃发展,并进入农业技术的供给领域,从而在社会分工范围内促进了
自2013年中央城镇化会议首次在官方文件中提出“记住乡愁”后,在社会上引发了新一轮的“乡愁”热潮,对比传统社会的乡愁表达,当代乡愁的表达和意涵在现代化、全球化的背景下发生了许多变化。本研究围绕大型影视纪录片《记住乡愁》展开,对该影视作品的内容进行文本分析,总结出当代乡愁表达的特点,并与传统社会的乡愁表达进行对比,归纳整理出乡愁意涵发生的变化,并结合时代的不同特征分析产生这些变化的主要原因。经仔细分
随着中国的改革开放,在工业和城市得到快速发展的同时,水污染问题日益严重,成为亟待解决的首要问题之一。在各种处理水污染的研究中,半导体光催化技术一直受到研究者的广泛关注。在光催化技术中,最核心的部分就是光催化剂的选取和制备。二氧化钛(TiO2)和二氧化一锡(SnO2)是目前研究较多的两种材料。但TiO2/SnO2存在一些缺陷,影响了它们的光催化性能。首先,TiO2(~3.2ev)和SnO2(~3.6
流体力学是偏微分方程研究的重要内容之一,它涉及的主要问题来源于地球物理、电磁学、海洋流体和大气科学。Boussinesq方程组是描述海洋中的流体和大气层中的流体遇到湍流现
小型会计师事务所数量众多,大部分小型事务所内部控制意识不强,没有建立有效的内部控制制度。本文研究对象为小型会计师事务所,跳出传统企业内部控制,转而研究小型会计师事务所内部控制,对于内部控制的文献综述进行了一定程度的补充。同时,结合作者自身近20年的小型会计师事务所工作经验,通过文献综述法、归纳法、问卷调查法等方法研究小型会计师事务所内部控制问题。研究发现,目前我国小型会计师事务所内部控制存在以下六
定向增发、可转债,被认为是我国资本市场自股权分置改革以来最为重要的两种直接融资方式。2006年,随着股权分置改革的完成,以及《公司法》、《证券法》等一系列重要法律法规的施行,定向增发不论是发行规模、运用频率还是市场影响,都是直接融资方式里最重要的。而随着2017年《上市公司非公开发行股票实施细则》施行以来,这一局面发生了重大转变:定向增发逐渐减少,而可转债大受欢迎。在此背景下,本文选择了2008年
以不同几何拓扑结构的石墨烯为对象,对其电磁屏蔽效能展开研究,为石墨烯的应用提供新的视角。石墨烯具有高红外透过率和高导电率,将石墨烯应用于光学窗口可以缓解高电磁屏蔽效能和高红外透过率之间的固有矛盾,为更高精度的光学探测器件的发展提供条件。基于高频仿真结构软件(HFSS)对石墨烯的电磁屏蔽效能进行了探讨,研究了在红外透过率一定时,不同几何拓扑结构的石墨烯对其电磁屏蔽效能的影响,分析对比了同一几何拓扑结
现代科学技术的发展使诸多领域呈现新面貌,比如教育呈现现代化发展趋势。教育为国家之基石,也是社会关注的重点,教学是教育领域的主要内容,采用现代化教学方式符合教育发展趋
C县扶贫资金折股量化政策是该县在精准扶贫中一个创新实践,它创新性地在扶贫领域引入市场机制,让效率更高的市场为政府解决扶贫工作效率不高的问题。由于该政策存在政府角色定位不准确、政策对民间资本的吸引力不够、强制性摊派就业指标容易引发就业贫困群众“吃空饷”等方面的问题,政策的具体执行效果没有达到预期,相关部门和乡镇政府发现自己并不能够如愿摆脱过渡干预的弊端。甚至出现了参与项目竞标的企业数量不多,本应由市
中华文明历史悠久,博大精深,源远流长。传统中医学伴随着历史的发展一直流传至今,造福着古今中外的人们。与西方医学最大的不同之处在于,中医认为人体是一个有机的整体,医生需要从多方面了解和系统掌握疾病的相关信息,从而对患者进行有针对性的临床治疗。其独特的“望闻问切”四诊法是中国古代人民智慧的结晶,也是中华文化的瑰宝。面诊是中医望诊的重要环节,也是医生通过面象对病人体内病症进行定位、定性的一种有效的诊疗手