【摘 要】
：
文中对Spark大数据处理框架进行了深入剖析,采用Scala+Hadoop+Spark软件,搭建了Spark大数据处理框架,Cassandra分布式数据库集群,根据计算降水量的应用需求,设计了数据库的分
【基金项目】
：
重庆市气象局智慧气象技术创新团队项目(ZHCXTD-201819)
论文部分内容阅读
文中对Spark大数据处理框架进行了深入剖析,采用Scala+Hadoop+Spark软件,搭建了Spark大数据处理框架,Cassandra分布式数据库集群,根据计算降水量的应用需求,设计了数据库的分区以及列存储的对应关系。使用Spark连接Cassandra获取了长时间序列的降水量数据到RDD(弹性分布式数据集),设计算法成功进行了长时间序列小时降水量的统计。结果表明这种计算方法在计算海量数据时,较关系型数据库和传统计算方法显著提高了计算效率和正确率,符合气象大数据的计算要求,为气象服务提供了大数据算
其他文献
在奥斯丁小说<傲慢与偏见>中夏洛特*卢卡斯为了找一个经济的"保险箱"选择了柯林斯,也因此成为了伊丽莎白和评论者所批判的对象,而这个人物自身所存在的现实主义价值却常常被
在中美跨文化交际中,恭维语是使用最为普遍的语言行为之一,但是这些恭维或赞美用语却具有语用上的差异。从差异中可以看出,中国人的恭维体现在"卑己尊人"上,而美国人则"尊人"
虽然目前电力宽带的声音并不多，然而凭借国家电网独有的电缆入户优势，引入光纤复合低压电缆（OPLC）将全面提升其光纤入声韵实装率。而这正是电信运营商所欠缺的。从国内现有的宽带
<正>为了从根本上解决我厂炭黑的出路问题,我厂从1991年3月起开始对重油造气副产炭黑的扩大应用研究开展工作.经过一年多时间的努力,取得了一定的进展.其中副产炭黑在橡胶中
<正>Cox比例风险回归模型是目前进行多因素生存分析最常用的半参数模型,由于其兼有参数模型和非参数模型的优点,并可以在数据不完全的情况下分析研究对象生存时间的影响因素,
针对传统单一赋权方法的缺陷,将AHM主观权重和CRITIC客观权重相结合,构建AHM-CRITIC耦合权重;采用TOPSIS排序方法,量化样本与评价标准之间的相对关系,建立水质评价模型。选取
以茄子皮为原料,用酸性无水乙醇溶液浸泡提取天然红色素,并通过实验对色素溶液在不同pH值下在温度,光照,氧化还原剂,金属离子的稳定性进行了研究.实验证明:茄子皮天然红色素
基于可持续发展理论,结合我国可持续发展策略、安康环境资源状况及经济发展的制约因素,分析了经营绿色与安康可持续发展的内在联系,经营绿色是生态、经济和社会相统一的发展
针对传统输电线路激光点云自动分类方法存在分类准确率低,耗时较长、电力巡检质量低等问题,文中提出基于高程投影的输电线路激光点云自动分类方法研究。通过对高程投影法工作原理进行分析,对输电线路激光点云数据进行提取;通过确定塔杆间地物点范围,确定输电线路点云数据提取范围;选择空间距离抽稀的方法进行点云抽稀,将点云密度均一化;利用最小二乘法重建电力线的三维空间,进而实现输电线路的安全检测。实验结果表明:采用
文中设计了一种基于磁通门和物联网(Internet of Things)技术的消磁系统,旨在消除空间中的磁场,创造一个磁场总量极小的空间。文中提出的消磁系统创新地将检磁、消磁、物联网技术有机结合。设计上,不仅实现了消磁能力的提升,而且利用物联网实现了仪器的智能化、远程化,不仅方便了用户的使用,而且有利于系统的远端操作、数据可视和固件升级。经测试表明,样机实际的消磁性能良好,达到了理想的效果,有效地