基于大数据技术的医学案例报道文献库构建及分析应用

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:maryren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术在医学领域的广泛应用,如何利用大数据开发和人工智能技术挖掘医学案例文献中的关键信息仍是一个挑战。探索不同规模数据处理方案,设计高可用的数据仓库,提供准确的分析结果,实现简单易用的可视化平台都是一个具有高参考价值的医疗大数据开发方案难点。本篇论文是基于美国国立卫生研究院和国家图书馆的生物医学和生命科学期刊文献免费全文资料库来进行文本信息的挖掘处理。为了规范化的管理文献库数据,论文借鉴了一线互联网企业在海量数据开发过程中的数据处理经验,从数据ETL、数据链路组件选型及部署过程、数据分析可视化三个环节创新性地引入数据仓库扁平化建模方法、容器化部署分布式开发环境、可配置化的数据分析可视化平台来构建完善的医学案例文献数据仓库和高效快捷的数据处理链路。在前期技术调研过程中,对存储、计算、查询、分析及可视化各方面常用的技术栈都做了深入的了解和对比。其中,实际部署kylin、impala和hive分布式服务,并实际测试了在千万量级数据集上的查询性能。在文本处理部分,借助常用的机器学习预处理代码库、自然语言处理算法对医学案例报道文献数据进行清洗和抽取,实现非结构化文本数据的合理拆分和有效信息挖掘,并基于自主开发的用户自定义函数构建了完善的医学案例文献数据仓库。基于构建的数据仓库和算法分类结果,能够满足对文献所属研究领域、资助机构、发表国家、发表时间段等的分析,并对各模块关键词做了词频统计,还能支持多维度多指标的多表联合查询分析。最终,基于展示样式丰富且支持多数据源挂载的superset对文献时间分布、所属研究领域分布、地域分布、关键词词云做了可视化展示,将文献库数据的整体分布做了直观展示。论文研究的医疗大数据开发方案在复杂海量文本数据处理和内容挖掘上都有着新的借鉴意义。
其他文献
学位
随着高速列车速度的不断提高,要求高速列车重要部件具有更高的技术性能。轴箱轴承作为动车组转向架的重要部件,受运行工况、动载荷及其路谱冲击载荷的作用,受力复杂,其主要失效形式为滚动体与内外圈的接触疲劳损伤,目前在轴承接触疲劳损伤的研究中,忽略了轮轴与轴承过盈配合表面的三维因素,将其视为轴对称模型,无法解释在实际中轴承早期疲劳损伤随机产生的现象。为了探究轴承随机损伤的力学机理,本文将轮轴与轴承过盈配合的
分布式光纤传感系统可实现对光纤沿线扰动的长距离连续检测,其中相位敏感光时域反射计(Phase-Sensitive Optical Time Domain Reflectometer,Φ-OTDR)已被广泛应用于石油管道、铁路沿线、高压线塔覆冰等安全监测领域。本文对Φ-OTDR中扰动事件的分类识别,开展了理论与实验研究,发现从小样本中学习入侵规则更具实际意义,因此本文选用支持向量机(Support
随着互联网经济的快速发展,网约车成为人们日常出行的重要交通方式之一。网约车凭借其“门到门”的服务满足了居民对出行质量的要求,也解决了公共交通未覆盖区域的居民出行需求。但由于居民出行的随机性,网约车运营存在司机空驶率较高、乘客“叫不上车”的现象。本文基于网约车订单数据,对网约车出行需求特征进行分析,利用改进的DBSCAN算法挖掘出行热点区域,建立单个区域和多区域的出行需求预测模型,最后选择挖掘出的热
近年来我国城市发展迅速,城市面积不断扩大,城市人口也逐年增加,传统的采用直流1500V牵引供电制式的城市铁路,在运力方面已经开始落后于人们日益增长的出行需求。为进一步提升城市轨道交通系统的运力,部分城市铁路改用交流25k V的供电制式以提高城市铁路的供电效率和驱动力。交流25k V城市铁路的信号系统仍采用地铁制式,随着供电制式改变和供电电压等级的提升,弱电轨旁设备如计轴、通信设备在交流25k V牵
加强轨道交通运营安全保障技术、提升运营服务质量是“交通时代”为轨道交通系统提出的新要求。列车牵引系统作为列车的动力来源,是城市轨道交通系统的重要组成部分,一旦发生故障,会给危及人民生命安全,造成极大的经济损失。因此,为了有效地保障列车的安全运营,在列车牵引系统中加装多种类型的故障检测设备,从而实时准确地感知列车牵引系统的运行状态,是目前解决列车安全检测问题的核心手段。然而,列车牵引系统构成单元繁多
在线视频已经成为当前互联网上主流的产业系统,占据绝大部分网络流量。在这个产业系统中,内容商通过租用带宽和缓存向用户提供视频内容进而赚取用户(订阅)收益、通过投放视频广告赚取广告收益。如何租用缓存和带宽,以及如何投放视频广告,以最大化内容商的总体收益是视频内容商关注的热点问题。本文在现有研究基础上,从以上两个角度分别研究网络资源租用策略及视频广告投放策略。本文首先研究最优预算分配问题,根据缓存和带宽
学位
“存储墙”是一个制约计算机性能提升的重要因素,提高处理器请求在缓存中的命中率是解决存储墙问题的重要途径,在摩尔定律功效逐渐减弱的硬件条件限制下,优化缓存结构为处理器访存提供良好的环境是提高访存命中率的又一突破口。基于处理器局部性原理,以类似于泉水渗透的方式将及时局部组(一组在空间上地址相邻的数据块)在以泉吸、泉涌缓存为基本组件的渗透缓存结构中迁移流动,使得数据能够以主动的姿态迎合处理器的访存需求,
组织中人们追求经济利益,也追求社会地位和自我发展,个体认知、个性差异、个人动机等原因导致组织中普遍存在冲突,对组织的生存和发展产生或有利或不利的影响,为了组织的良性发展,对组织冲突进行管理是团队管理不可忽视的一部分。改革开放以来,我国社会主义市场经济体制逐步建立和完善,商会作为社会经济体的重要组成部分得到迅速发展,在助力企业发展、为政府提供服务、社会慈善公益事业建设等方面发挥了重要且积极的作用。G