基于优化RDD分区的Spark并行K-Means大尺度遥感图像分割

来源 :控制与决策 | 被引量 : 0次 | 上传用户:tjh2088
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大尺度遥感图像分割对单机处理方式而言是巨大挑战。Spark平台为在单机上构建用于大数据处理的分布式计算环境提供了可能。当Spark平台内置的K-Means算法用于数字图像处理时,其中的Spark Shuffle弹性分布式数据集(Resilient Distributed Dataset, RDD)分区一般采用缺省设置,尽管这种RDD设置简单便捷,但对大尺度图像分割任务容易造成“多分区、小数据”现象,极大影响图像分割速度。为此,本文采用覆盖部分上海市区的WorldView-3遥感图像为测试数据,在K-Means算法初始化聚类中心阶段自定义影响RDD分区的参数spark.sql.shuffle.partitions,在迭代计算阶段调用coalesce()算子减少分区数,与串行K-Means算法对比验证了单机处理大数据的可行性与有效性,与优化前的Spark并行K-Means算法对比实现了大尺度遥感图像快速分割。实验结果表明,在K-Means算法初始化聚类中心和迭代计算阶段,将RDD分区数设置在CPU核数的1-10倍,总用时由优化前的145s缩减到97s,尤其在初始化聚类中心阶段的时间效率上,优化后是优化前的500-1000倍。
其他文献
目的 探讨温针灸治疗寒凝血瘀型子宫腺肌病继发性痛经的临床效果。方法 选取黑龙江中医药大学附属第二医院2022年1月至5月收治的52例寒凝血瘀型子宫腺肌病继发性痛经患者,按照随机数字表法将其分为对照组和治疗组,各26例。对照组口服少腹逐瘀胶囊治疗,治疗组在对照组基础上采用温针灸治疗;每个疗程7 d,均治疗3个疗程。比较两组痛经程度积分、中医症候各项积分、视觉模拟评分法(VAS)评分及子宫内膜异位症专
收买被拐卖的妇女罪既是侵害人身自由之抽象危险犯,又是侵害意志自由之行为犯,前者符合“保护同一法益之上一位阶犯罪”的立法设计,能够证成轻罪定位的合理性;后者的法益侵害流程可察性高,利于发挥法益的构成要件解释指导机能。轻罪立法是为追求刑罚必定性,因而本罪在要件解释时须遵循意志自由行为犯的法益保护向度,严格排除行为、目的等要素的添附;在司法适用时须协调基本犯与系统化罪名群的关系,妥善处理诉讼时效、未构罪
1929年1月,毛泽东、朱德率领红四军主力离开井冈山转战赣西南和闽西,这是开辟中央革命根据地和组建中央红军的重要步骤,是农村包围城市总战略形成的关键时期,是其开创井冈山革命道路的新篇章。东固革命根据地不仅为下山初期身处困境的朱毛红军提供了宝贵的休养生息之地,而且以其鲜活的斗争经验,在红色武装割据的方式、党对红军的绝对领导和农村革命根据地的发展与布局等方面,给予毛泽东以重要的启示,对红色政权理论的发
利用全自动QuEChERS前处理仪处理样品,探究其在果蔬中10种农药残留高效液相色谱-串联质谱(HPLC-MS/MS)检测中的应用。结果表明,使用全自动QuEChERS前处理仪在浓度范围为0.002~0.200μg/mL有良好的线性关系,相关系数R2大于0.9995,方法定量限为0.005~0.01 mg/kg,加标回收率为78.5%~101.5%。全自动QuEChERS前处理仪仪器性能较稳定,各
针对竖井掘进机液压系统多根管路跟随执行元件做回转运动的工况,设计出了一套管路的布置方式,不仅避免了软管的扭曲,同时高度集成化的设计也节省了管路安装空间,提高了竖井掘进机运行的稳定性。
随着建筑行业技术水平的不断提升,装配式建筑技术的优势逐渐显现,与传统建筑模式相比,装配式建筑方式具有施工成本低、节能环保等优势,与国家提出的绿色发展理念相符。但是由于装配式建筑模式出现时间较短,在管理方面还存在一些问题,例如管理效率不高、成本控制水平较低等,制约着装配式施工模式的进一步发展,而EPC模式的出现,为装配式建筑项目成本控制工作提供了全新路径,通过对设计、采购、施工等环节进行统一的成本管
在信息技术飞速发展的社会背景下,“大智移云物”对各行各业产生了冲击,同时也为信息技术赋能高职教育教学评价提供了可能。在信息技术赋能职业院校教学评价的过程中,呈现出了评价对象由面向全体向关注个体转变,评价重心由教师的教转为学生的学的转变,评价依据由知识考核向知识技能并重的转变,评价主体由教师为主向多元协作的转变,评价呈现由单一考核成绩向多样数据呈现的转变等变化。河北软件职业技术学院依托多年校企合作,
<正> 一部反映老山将士精神风貌,宣扬老山精神的大型歌舞诗剧《老山颂》,最近在云南老山前线公演。该剧具有浓厚的战斗生活气息,讴歌了勇于献身的高尚情操。在艺术形式上,熔歌、舞、诗于一炉,轻松活泼、丰富多彩。这场歌舞诗剧是由前线某部宣传科长刘学公在猫耳洞内写成的,由某部战士业余演出队演出。这些来
期刊
当前我国“新文科”探索初步形成了“理念思辨”“学科创新”和“知识整合”三大发展理念,为认知传播遵循“知识整合模式”的新文科实践理念提供了谱系定位。根据迈克尔·吉本斯首创的知识生产模型学科体系,认知传播有待于以“问题导向”的知识生产逻辑为出发点,以计算主义与建构主义相互融通的知识生产方法论体系,以着眼全球、回应时代命题、服务社会公共利益的知识服务目标凝聚学科核心价值,为当前我国新文科建设提供基于“知
文章以外研版《英语》四年级下册Reading for Pleasure板块中Kong Rong and Pears的教学为例,以培养学生的文化意识为出发点,挖掘故事教学中的文化因素,引导学生理解故事,品鉴中华优秀文化;深入学习故事,感悟中华优秀文化;拓展学习故事,传播中华优秀文化,以此帮助学生形成积极向上的品格,树立文化自信,增强民族认同感,形成跨文化沟通能力,提升文化意识。