【摘 要】
：
Spark SQL是Spark技术的一个模块,在不使用Scala语言的前提下,可以对结构化数据进行处理和优化。本文重点研究Spark SQL的架构、DateFrame数据抽象、基于数据分类的改进交替最小二乘算法(ALS)等几个方面,研究在推荐系统中处理结构化数据面临的性能优化问题研究。提出最小二乘算法对Spark SQL的Dateset进行优化,在操作Hive数据集和HBase分布式数据的过程中,整合二者的优点,改进了数据读写速度,优化了数据组织框架。在推荐系统进行结构化文件处理的问题上,具有一定的指导意
【基金项目】
：
2018年福建省中青年教师教育科研项目(项目编号:JZ180358)。
论文部分内容阅读
Spark SQL是Spark技术的一个模块,在不使用Scala语言的前提下,可以对结构化数据进行处理和优化。本文重点研究Spark SQL的架构、DateFrame数据抽象、基于数据分类的改进交替最小二乘算法(ALS)等几个方面,研究在推荐系统中处理结构化数据面临的性能优化问题研究。提出最小二乘算法对Spark SQL的Dateset进行优化,在操作Hive数据集和HBase分布式数据的过程中,整合二者的优点,改进了数据读写速度,优化了数据组织框架。在推荐系统进行结构化文件处理的问题上,具有一定的指导意
其他文献
“天气的影响”是在学生认识阴、晴、雨、雪、风、雾等不同天气现象学习之后,发现天气具有多姿多彩、多样变化的特点基础上,继续学习天气与人类、动植物的关系,落实《义务教育小学科学课程标准》中“14.1地球被一层大气包围着”的学习内容中的低年级学习目标:描述天气变化对动植物和人类生活的影响(图1)。
加强课程思政建设是落实立德树人的关键举措。作为我国高等教育的有机组成,外语教学承担着知识传授、能力建设和价值引领的三重职责。本文立足课程思政的内涵本质,以“基础德语”课程为例,在内容语言融合教育理念的指导下,参照中国学生发展核心素养及专业教学指南,整合重构教学内容,建立思政元素框架;通过混合式教学建构探究性学习团体,促进合作式学习,发挥课程在立德树人方面的作用;结合思政元素和课程内容优化评价指标,凸显“语言+文化+思想”的多维度考核,以期为课程思政植根外语课堂教学实践提供有益启示。
目的观察针刀松解脊神经后支治疗胸腰段带状疱疹后遗神经痛的临床效果。方法选择2018年6月~2020年5月我院收治的门诊就诊及住院治疗的胸腰段带状疱疹后遗神经痛患者60例,按随机数字表法分成对照组采用华佗夹脊穴针刺,观察组采用针刀阻滞松解法各30例。观察两组临床疗效,比较两组治疗前、疗程后的视觉模拟评分(Visual Analogue Scale,简称VAS)、McGill疼痛问卷的情感SF-MPQ评分、睡眠质量评分(Qs)。结果观察组治疗有效率高于对照组,差异有统计学意义(P<0.05);观察组患者
在乡村振兴战略的宏观背景下,乡村数字发展战略应运而生,其核心是乡村数字赋能。乡村数字赋能的政策内涵在于为乡村发展寻找内生动力并提供发展新动能,以期破解“三农”问题和城乡发展不平衡问题。然而,乡村社会普遍存在的数字鸿沟,却是制约乡村数字赋能的内生因素,二者之间的张力具有很强的内生性和客观性。因而,能否消解二者之间的张力以及由此张力而衍生的内生困境,则是数字乡村战略实践能否成功的关键,也是检验数字乡村战略政策效能的重要标准。解决这一问题,需要借鉴英国社会学家吉登斯“脱域”机制建设的思想,运用“脱域式赋能”的发
传统姿态融合算法在考虑大范围动态、静态旋转以及平动运动时,需根据不同运动状态调整陀螺仪与加速度计、磁力计之间的融合权重,且涉及复杂的模型补偿与参数调整,限制了其可达精度。针对上述问题,将长短时记忆(LSTM)神经网络用于姿态估计中,建立传感器与姿态角序列之间的非线性映射。在公开数据集上进行实验,结果表明,与传统姿态估计算法相比,基于LSTM神经网络的姿态估计算法所得结果的误差大幅下降,精度提高了至
以Livescribe Smartpen电子笔为代表的新技术设备便于实时存储交传笔记过程中的音频、视频信息,并通过回放功能精准再现口译笔记的“动态”过程,有助于教师改进交传教学模式,有助于研究者透过交传笔记探索口译认知过程,同时有助于口译员提高新型口译模式(“交传-同传”结合)的工作效率。
2020年后,在脱贫不稳定群体中,可持续发展能力不足的单身汉(光棍)成为其中最为显著的群体之一.社会文化在制造意义、维护秩序的同时,也在制造无意义感、边缘化非正常人.在传统家庭文化强的农村地区,一旦有人不能成家便意味人生不完整、生命意义残缺,其社会形象随之被污名化、社会地位被边缘化.生活动力机制失调使单身汉陷入消极颓废的生活状态,这进一步消解其社会行动的合法性.不重视积蓄、家庭支持乏力、抗风险能力低且内在动力不足的单身汉群体,很容易致贫、返贫且被锁定在多重困境的状态,这增强了其社会风险.在人口性别比持续居
卫星观测数据质量的好坏是保证北斗卫星导航系统(BDS)提供全球定位服务的重要前提,利用阿努比斯(Anubis)软件对2017—2019年间、26个测站的BDS数据质量进行检查分析,并利用派森(Python)编程语言实现了数据检查的批量处理与提取。数据检核实验表明B1I的数据完整率整体优于B3I,但B3I的多路径误差小于B1I。北斗三号(BDS-3)卫星在信噪比(SNR)和多路径误差上明显优于北斗二
针对全球卫星导航系统(GNSS)时间序列精密数据处理分析、降噪等过程繁琐且算法复杂的问题,基于矩阵实验室(MATLAB)图形用户界面,设计了一款GNSS时间序列分析与降噪的数据处理软件。该软件实现了三种改进的经验模态分解(EMD)降噪算法,可有效剔除GNSS时间序列中的噪声;其次,软件中实现了多种共模误差分离算法,可为不同尺度的GNSS观测网进行共模误差分析。结果表明:软件功能完善、界面友好、可靠
合村并居是乡村振兴背景下就地城镇化的重要模式之一.利用4个村庄的案例资料,对农民集中居住意愿与行为的代际差异进行探究,指出令人满意的搬迁补助金、社区有利区位和优质的新居环境是农民集中居住意愿的促进因素,社区坡地地形、楼房定价偏高且标准不公开、旧房补偿标准不明确且结果不能令人信服、搬迁时间紧张且手段强制、楼房质量较差、集中居住后预期支出增加等是重要阻碍因素.此外,农民集中居住意愿存在代际差异,呈现子代较强、父代较弱、祖代非常弱的序次格局,这主要受乡村情结和院落情结、身体与生活等环境适应能力、经济能力和就业状