基于Hadoop的非负矩阵分解算法研究

来源 :软件导刊 | 被引量 : 0次 | 上传用户:TORO_123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,对大规模数据的分析和处理提出了更高要求。非负矩阵分解作为一种高效方法被广泛应用于数据降维和特征提取,有效减少了大规模数据的复杂运算,但存在计算过程繁琐的弊端。将分布式平台Hadoop与非负矩阵分解有机结合,利用Hadoop处理大规模数据的并行能力与非负矩阵分解自身的数据降维特点,实现较高的加速比。这种方法能高效完成非负矩阵分解的迭代问题,提高算法的计算效率。
其他文献
在变电站实际调控过程中,变电站电压无功控制装置既要控制电压和无功尽量接近理想值,又要尽可能减少分接头的调节次数和电容器的投切次数。上述过程为一个典型的多目标优化问题。传统的九区图控制法未考虑分接头调节对电压无功的影响,从而造成设备频繁动作。为提高控制效率,建立了一种多目标优化的变电站VQC控制模型,并通过改进遗传算法进行求解。仿真分析表明,提出的策略和算法能够有效减少分接头的调节次数,提高变电站的
在供电系统电流优化问题的研究中,针对电流控制方法在静止无功发生器(SVG)无功补偿方面存在的由开关频率不稳定造成的较大的脉动电流和开关噪声、补偿环节参数难以确定等缺陷,提出了虚拟磁链定向矢量控制(VFOC),将矢量控制的基本思想应用于电网电压控制当中。首先阐述了传统的电流控制方法在静止无功发生器应用中所显现的具体问题,介绍VFOC算法的原理,将SVG的各个状态方程在电压定向矢量坐标系中表示出来,通
研究变风量空调负荷准确预测问题,由于变风量空调系统可根据负荷的需求动态改变送风量,变风量空调大系统稳态优化控制策略可以使系统节能高效运行,为准确预测负荷,优化系统,首先分析了影响负荷预测的主要因素,对温度、相对湿度的预测模型进行改进,提出了一种自适应扰动粒子群算法的BP神经网络的空调负荷预测模型,加快粒子群算法的收敛速度,提高了空调负荷的预测精度。通过仿真比较,验证了模型在空调负荷预测中的有效性。
在车载导航系统性能优化问题的研究中,低成本INS误差随时间累积速率较快,但不能在较长时间内单独使用,需采用其它辅助手段抑制其误差累积。针对车载GPS/INS组合导航方案,GPS在恶劣环境下不可靠、甚至完全失效,从而失去对INS误差抑制作用的问题,提出一种利用车辆运动学模型辅助INS的方法。根据车辆运动学模型和非完整约束条件推算出车辆位置和速度信息,并利用推算信息辅助车载惯性导航系统,从而抑制纯惯导
巡检作业是各行业生产和运行过程中的一项重要工作,而巡检系统的应用则可以很好地对巡检工作进行规范化管理。巡检数据是巡检系统的核心,良好的巡检数据存储将直接提升巡检系统处理数据的能力和效率。首先分析了巡检数据的基本特征,提出了"多元巡检数据"的概念,以位图的方式解决了非量化数据处理问题;其次针对该类型数据的树形结构特征,设计了一套基于"XML树-表"结构的多元巡检数据存储的方法;最后就上述方法进行实验
针对传统路径规划算法在求解静态已知环境下的最优或次优路径时存在转折次数过多、路径复杂等问题,提出一种基于极值法的移动机器人静态路径规划算法。在对环境建模时,采用边界
研究图像帧的准确定位检索问题。由于图像的语义特征与一般像素特征不同,包含图像固有属性、图像对象和人为意识三个特征,上述三个特征之间具有较大的逻辑无关性,造成以这三个特征为基础建立的语义检索模型很难形成统一的检索特征标准,多个特征的检索确认模式造成图像检索精度较低。为了避免上述缺陷,提出一种图像共现语义特征的关键帧定位技术,对计算机视觉图像进行分类处理,从而提取出与目标具有较强相关性的视觉图像,将获
移动学习研究的重点是学习资源建设与内容推荐。介绍了移动学习特点及移动学习资源、学习主体等要素,在此基础上,以高校为研究对象,采用调研方式获取大学生用户需求信息,完善
针对图像去噪的问题,提出了一种自适应范数及正则化参数的图像重建方法。首先,考虑到退化图像不仅含有高斯噪声,而且含有拉普拉斯噪声,利用最大似然估计的思想估计高斯噪声和拉普拉斯噪声的标准差;其次,由于在图像重建过程中,噪声分布会发生变化,为此,构造基于统计量的高斯和拉普拉斯权重函数,整合L_1、L_2范数,设计一种自适应加权函数;最后,结合自适应正则化参数方法,设计了一种自适应L_1、L_2范数及正则
为了合理安排电力系统的中期运行计划,针对月负荷曲线的特点,提出一种基于小波变换、无偏灰色预测模型和RBF(径向基函数)神经网络的月度电力负荷混合预测方法。首先,基于小波变换将月负荷历史数据进行分解,表明月度负荷具有连续增长和周期性波动的特征分量。其次,针对各分量不同变化规律,分别采用不同的预测法进行预测:针对连续增长的分量,采用无偏灰色预测模型进行预测;针对周期性波动的分量,采用RBF神经网络法进