【摘 要】
:
科学技术的发展带来了人们生活办公方式的转变,当今时代所倡导的人工智能,大数据等技术的发展都以数据作为基石。数据的价值在生活的方方面面都日益明显,而对于一个企业来说数据的价值更是在一个企业当中扮演着至关重要的角色,企业在日常经营与生产中积累了海量的数据,数据进入了DT时代,如何合理地处理和利用这些数据成了所有企业所关心的重要问题。大数据技术在这种背景下孕育而生,并在潮流之中稳步向前发展,在大数据的浪
论文部分内容阅读
科学技术的发展带来了人们生活办公方式的转变,当今时代所倡导的人工智能,大数据等技术的发展都以数据作为基石。数据的价值在生活的方方面面都日益明显,而对于一个企业来说数据的价值更是在一个企业当中扮演着至关重要的角色,企业在日常经营与生产中积累了海量的数据,数据进入了DT时代,如何合理地处理和利用这些数据成了所有企业所关心的重要问题。大数据技术在这种背景下孕育而生,并在潮流之中稳步向前发展,在大数据的浪潮之中,Hadoop技术脱颖而出,并得到了学术界和工业界的广泛认可,Hadoop集群之上的开源数据仓库应用Hive具有模式自由、扩展性高和容错性高等特点,能够很好的为企业级数据仓库的建设提供服务,因此,越来越多的企业开始考虑如何很好地利用Hive数据仓库带来的优势,创建自己企业的数据仓库,使自身的信息化建设迈上一个新的台阶。数据仓库是一个面向主题,经过加工和集成,相对稳定并且随时间变化的数据集合,然而传统数据仓库扩展性、容错性等较低,处理大规模数据效果非常差劲,使数据仓库完全脱离了时代的潮流,发挥不出应有的功能。在数据仓库中,查询是其所有操作的重要组成部分,数据仓库中的数据会长期存在,方便用户直接进行查询操作。大数据背景下,新的数据仓库建设方案迫在眉睫。针对上面所提出的问题本文提出了一种大数据时代下新的数据仓库建设思路,更好的服务于当今社会背景下的企业的信息化建设。企业数据仓库为企业提供数据支持,方便企业更好地进行数据管理和数据挖掘工作,是企业信息化建设的核心所在。文章以数据仓库建设的背景和意义作为文章的开始,而后深刻地分析了现在国内外对数据仓库技术的研究成果,在对现有技术的研究之上,本文采用自动化的数据处理技术和新颖的数据分层思想,并且对目标系统进行了需求分析和设计得知数据处理、数据建模、数据仓库管理和可视化是我们目标系统的四个重要组成部分。因此本文的主要研究内容有:1、数据处理使用Hadoop平台,Hadoop为数据仓库提供高效且廉价的数据处理平台,利用Hive sql方便了数据处理流程,并且自主设计使用SHELL脚本实现了ETL自动化过程,通过实验分析得出最佳线程数,使用Yarn来进行资源管理提高数据仓库的稳定性和扩展性,并且利用Map Reduce并行计算的优势,能够很好地支持企业大规模数据的处理。2、数据建模数据建模的核心是逐层解耦。越到底层越接近业务发生的记录,越到上层,越接近业务目标。数据仓库的建设使用维度建模法,在建模的同时设计数据分层,使数据变得更加可靠,数据结构更加明确,方便我们对数据进行血缘追踪,为数据开发提供极大的便利。3、可视化部分利用spring MVC+spring+mybatis+Echars作为整个系统的框架,向企业展示他们所关心的关键购销数据。4、测试部分针对各个功能模块设计了相应的测试用例。根据我们所设计的测试用例对系统的性能、功能以及安全性进行测试,测试结果在我们的预料之中,系统运转正常。
其他文献
目的:本研究基于中医学“异病同治”理论,运用系统评价及Meta分析的方法,通过全面系统检索和整理补肾活血汤治疗膝骨关节炎、腰间盘突出症、骨质疏松症的临床随机对照试验,总结现有的临床研究证据,评价补肾活血汤治疗膝骨关节炎、腰间盘突出症、骨质疏松症的有效性与安全性,为中医药治疗膝骨关节炎提供循证医学的依据,为临床选方用药提供参考,同时丰富“异病同治”理论。方法:通过电子检索文献,在维普全文期刊数据库(
秸秆在农田生态系统养分循环与能量交换过程中具有重要作用,合理的秸秆还田不仅可有效避免环境污染和资源浪费,还利于培肥土壤,维持土地的可持续利用,促进农业的绿色发展。为
【目的】探讨跟骨骨折(Calcaneal fracture)经传统外侧入路修复后跟骨内翻(Calcaneal varus)的发生率以及造成其内翻的危险因素,为提高跟骨骨折患者手术疗效和术后功能恢复提供依据和参考。【方法】回顾性选取2017年09月2019年09月选择在大连医科大学附属大连市友谊医院住院治疗的跟骨骨折行传统外侧入路切开复位内固定患者50人,一年后复查跟骨轴侧位片,测量其跟骨内翻角度,
本论文主要研究了天体磁对流环流问题在不同区域的有限元方法,利用二重网格算法,二水平算法,以及后处理技术得到了一些收敛性结果和超收敛性结果.同时,对原有文献不丰满的收敛性结果进行了最有误差估计.在第一部分中,在扩散区域,分别利用二重网格算法和二水平算法探究了对流扩散方程.具体地说,在二重网格算法下,借助于已有的高精度结果,平均值技巧及插值后处理技术,得到了Crank-Nicolson全离散格式下的超
叶片轮盘系统作为航空发动机等大型旋转设备的重要组成部分,其工作状态会直接影响到设备的安全平稳运行,而叶片在长时间工作时容易产生裂纹、折断等现象,大大降低了叶片的工作寿命,产生此现象的主要原因是叶片振动。因此,为了避免由于叶片振动造成的叶片损伤,延长设备使用寿命,保护人员安全,对旋转叶片进行振动测量势在必行。本课题开展了叶片振动参数的辨识仿真与实验研究,其主要研究内容如下:(1)利用ANSYS有限元
为评估全球气候变化对陆地生态系统的影响,在安徽金寨县马鬃岭林场,以不同海拔梯度(一代林:750 m、850 m、1000 m、1150 m;二代林:850 m、1000 m、1150m)杉木(Cunninghamia lanceolata)人工林作为研究目标,采集并测定不同海拔杉木人工林叶片-凋落物-土壤碳氮同位素、养分含量以及各自的土壤物化性质,探讨海拔对杉木人工林叶片-凋落物-土壤碳氮同位素、
马鞭草科牡荆属植物单叶蔓荆(Vitex trifolia L.v a r.simplicifolia Cham.)的干燥成熟果实是传统中药蔓荆子的用药部位,原植物性喜生于沙滩、湖畔以及海边,我国山东和江西为该药材道地产区。中国传统医学常将该药用于解表、发散风热,主治风热感冒、头痛头风。现代医学研究则发现单叶蔓荆在细胞毒、抗氧化、抑菌、抗炎等方面有显著药理活性。近年来的一些研究表明,单叶蔓荆含有丰富
秸秆资源丰富与秸秆资源的不合理利用,氮肥的过量使用与氮肥利用率的降低都是农村地区关注的重点,所以开展稻油两熟制下秸秆还田与氮肥施用对土壤理化特性和作物生长及产量影响的研究,可以为当地农事操作的可持续发展提供理论依据和技术支撑。本试验水稻以内5优5399和油菜以油研817为供试品种,于2017-2019年在贵州省三穗县长吉镇开展稻油两熟制下秸秆还田与氮肥施用对土壤理化特性和作物生长及产量试验。在水稻
虚拟现实技术作为一种综合了多媒体技术、传感交互技术等多种技术的全新技术手段,目前应用的领域已经包括军事训练、教学、医疗、电影、游戏、旅游业等。虚拟现实技术是本世纪重要的发展学科以及影响人们生活的重要技术之一。VR电影作为一种新的艺术形态出现在人们面前,受到了几乎两个极端的态度。有人认为VR电影将是电影发展的终极形态,我们终于迎来了“完美电影”,而另一些人却认为虚拟现实技术与电影的结合是电影艺术的退
耐候钢在桥梁建造中已经应用了数十年。工程师需要对结构构造及在特定桥址下腐蚀作用过程的宏观和微观环境有更好地了解,以便能够在考虑所有主要影响因素下更好地设计耐候钢桥梁。大量早期在欧洲/英国、日本和美国建造的耐候钢组合桥梁由于腐蚀超出预期而无法使用,耐候钢的腐蚀问题已经成为了令科研人员感兴趣的研究课题。研究人员对不同环境下的耐候钢性能及通过合理设计构造细节从而提高耐候钢在组合桥梁中的抗腐蚀性能尤为关注