【摘 要】
：
随着物联网技术的发展,越来越多的传感器、移动终端和计算机通过网络联系在一起。物联网传感器已经作为基础装备应用到电力系统、交通系统、建筑系统、供水系统、油气系统以及家用电器等生活的各个方面。近年来,由于物联网技术得到广泛与深入的应用,海量的数据处理对计算资源的需求显现爆炸性增长的趋势。云计算和边缘计算技术的出现为海量数据的存储与处理提供了大量的计算资源,而大数据技术则为海量数据的有效处理与分析提供了
论文部分内容阅读
随着物联网技术的发展,越来越多的传感器、移动终端和计算机通过网络联系在一起。物联网传感器已经作为基础装备应用到电力系统、交通系统、建筑系统、供水系统、油气系统以及家用电器等生活的各个方面。近年来,由于物联网技术得到广泛与深入的应用,海量的数据处理对计算资源的需求显现爆炸性增长的趋势。云计算和边缘计算技术的出现为海量数据的存储与处理提供了大量的计算资源,而大数据技术则为海量数据的有效处理与分析提供了根本的技术支持。在大数据技术中如何将经典的数据挖掘算法应用到海量数据处理环境中,如何充分利用云计算和和边缘计算提供的计算资源,从而对社会生活各个领域的海量数据进行高效的数据处理与信息挖掘,是当今数据挖掘研究领域所面临的挑战。本文以物联网数据处理应用中常用的聚类分析、异常检测等经典数据挖掘算法为目标,以分布式存储与并行计算框架的实现为研究核心,重点研究海量数据环境下经典数据挖掘算法并行化的若干基础理论和技术方法与海量数据的分布式存储与计算技术。最终提出了在海量数据环境下进行最近邻搜索、层次聚类、异常检测的解决方案。本文所做工作的主要成果和创新点概括如下:（1）针对层次聚类算法中最近邻搜索的时间复杂度高,为解决在海量数据环境下进行数据处理与分析的问题,提出基于最近邻边界的最近邻快速搜索方法,并应用到层次聚类算法中,有效降低算法的时间复杂度和空间复杂度。本文研究了层次聚类中最近邻搜索方法的特性,将数据分片技术和最近邻搜索进行结合,提出最近邻边界的概念（NNB）,能有效提高搜索最近邻的效率;通过研究近邻相似度的度量方法以及度量之间关系、基于最近邻边界数据分片技术,在降低层次聚类算法复杂度的同时保持了算法的分类准确度;最后将基于最近邻边界的最近邻搜索方法应用在层次聚类算法中,并进行实验验证了基于最近邻边快速搜索的层次聚类算法（NBC）的有效性。（2）针对层次聚类算法在海量数据环境下,针对如何突破单台计算机性能的限制,进行海量数据数据处理与分析的问题,提出将基于最近邻快速搜索的层次聚类算法并行化,并部署到Hadoop平台上的方案（NBCP）。本文研究了基于最近邻边界的数据分组技术,将最近邻搜索工作分解为相互独立运算多个任务的方法,提出了最近邻搜索并行化方案;研究了最近邻搜索并行化中解决因数据分组导致任务量不一的问题,提出任务均衡化策略,并给予理论证明;最后将基于最近邻边界的最近邻搜索方法应用在基于MapReduce的Hadoop分布式存储与计算框架中,并进行实验验证了基于最近邻快速搜索的层次聚类算法并行化方案的有效性。（3）针对层次聚类算法在边缘计算环境下,数据存储与处理节点受到计算资源的限制,提出了以树型结构将数据进行分布存储,并且在数据存储结点上直接进行最近邻搜索的分布存储与并行计算框架,基于此框架实现了能在边缘设备上有效处理海量数据的层次聚类并行化算法原型（DHC）。本文提出基于数据分片的分布式存储方法,将需要进行最近邻搜索的海量数据进行有效的分布处存储,构建了基于最近邻搜索技术的分布式存储与并行计算框架;并将层次聚类算法在此框架上实现分布式层次聚类的层次聚类并行化算法原型;算法通过使用树形结构的分布式存储节点来存储海量数据集,并且在每个存储节点处进行并行计算,有效地提高算法性能,适用于边缘计算环境下数据的处理;实验评估了 DHC在不同参数下的性能,验证了 DHC算法的有效性。（4）由于物联网中传感器节点的能力有限,从传感器节点收集的观测数据通常具有较低的数据质量和可靠性。物联网环境中数据的异常检测存在许多困难和挑战,常规的异常检测算法在异常数据检测上还存在不足,本文在研究中提出了基于层次聚类的异常检测算法（OHC）。研究中发现,层次聚类对最近邻进行合并过程中得到的树形图,自然的反映了对象之间关系的疏密;本文提出了将对象在层次聚类过程中的参与度作为异常点的测量标准,并且给出了参与度应用于异常检测的理论依据;提出的OHC算法是一种无监督的异常检测算法,它克服了一些有监督的异常检测算法的不足,适用于物联网数据的异常检测和各领域的数据分析;在OHC算法的设计中采用了基于最近邻边界的数据分片技术,使算法具有处理海量数据的能力;在实验中使用合成数据和真实数据对算法的性能进行了分析和比较,验证了 OHC算法的性能和对异常检测的有效性。
其他文献
民族音乐是我国传统文化中重要的组成部分,是我国民族文化的重要体现,弘扬和发展我国民族音乐文化具有十分重要的意义。初中作为学生学习的关键时期,在具体的音乐教学中,研究和探讨民族音乐文化的传承路径,不仅能够促进我国民族音乐文化的有效传承,同时也能够丰富初中音乐的教学内容。民族音乐具有很强的独特性和传承价值,是我国传统文化与民族特色的有效结合,通过重视民族音乐文化在初中音乐教学中的传承与发展,充分
毫米波探测系统具有全天时、全天候、抗干扰能力强、作用距离远等优点,在军事和民用领域如近程探测、精确制导、对地遥感、导航和反恐安检等方面获得了广泛应用,在目标探测领域具有重要地位。自动目标识别技术是毫米波探测系统应用的关键技术之一。然而,受系统体制、系统参数、环境噪声、目标方位和姿态、数据样本数量等因素的影响,毫米波探测系统自动目标识别在理论和技术方面仍有许多问题亟待解决。因此,本文以毫米波探测系统
切换系统将子系统与离散的切换信号融合,被广泛运用到机器人系统、飞行器系统、网络系统等复杂系统的模拟与控制中。采样控制是模拟信号转化为数字信号的重要环节,在减少不必要的数据传输、促进传输通道的高效利用等方面发挥重要作用。注意到切换系统在采样区间内可能发生切换,将导致切换系统模态与采样控制器模态之间的异步现象。因此,研究切换系统采样依赖的异步控制,减弱相关结果的约束条件,寻求保守性较小的镇定结果,具有
基层综合行政执法改革工作开展以来,河南省新密市乡镇（街道）和市直职能部门按照有关要求,采取各种措施积极推进,社会治理的薄弱环节得到了加强,社会和市场秩序有了明显改善,群众投诉较为集中的私搭乱建、占道经营、噪声污染等违法行为大幅减少。为加强乡镇综合治理,构建科学高效的乡镇管理体制,
综合行政执法体制改革是党中央、国务院做出的重大战略部署,是深化党和国家机构改革的重要内容。河南省三门峡市在严格贯彻落实政策的基础上,结合本地实际,积极稳妥推进改革,先后印发了五大领域综合行政执法队伍机构编制文件,并全面完成了人员移交等后续工作,确保了改革平稳有序、工作有效衔接。
在现实世界中,大部分被控系统本质上都是非线性的,并且含有不确定性。与此同时,系统往往存在执行器故障和时延现象。因此,带有执行器故障和时滞的非线性系统的控制问题引起了国内外学者的广泛关注。近年来,在非线性系统稳定性理论、自适应控制、反步（Backstepping）设计方法、神经网络以及其他设计工具的基础上,非线性系统的自适应控制设计取得了丰富的研究成果。但是现有的大部分成果往往需要较强的假设条件且考
红外成像系统拓展了人眼的可视光谱范围,近年来被广泛应用于军事侦察、安防监控、森林防火、疾病诊断和自动驾驶等各个领域。然而由于红外成像系统的复杂性及红外焦平面探测器制造工艺的限制,红外焦平面探测器输出的红外图像通常存在严重的非均匀性,而且图像的灰度过度集中,对比度和动态范围较低,从而极大地降低了红外图像的图像质量及目标分辨能力。基于此,本文围绕红外成像系统架构设计、红外图像非均匀性校正算法、红外图像
众所周知,扰动如外部环境扰动、噪声扰动、机械系统与电力系统内部的摩擦等普遍存在于各类实际系统中,而这些实际系统都是本质非线性的。因此,提高非线性系统的抗扰动能力并得到更好的控制性能具有重要的实际意义。近年来,在非线性稳定性理论、Lyapunov函数、反推（Backstepping）技术、基于扰动观测器的控制以及其他设计工具的基础上,不确定非线性系统的控制设计取得了丰富的研究成果。但大部分已有的成果
随着计算机特别是移动计算机技术的普及和发展,被动接受信息的方式已不能满足人们的需求了,应运而生的人机互动是优化利用计算机的一个重要问题。而诸如增强现实（Augmented Reality,AR）等人机交互手段越来越受到人们的关注。如在军事实战演练、医疗模拟手术、汽车维修助手、电影制作、交互式游戏、旅游向导、生活辅助等应用邻域都有涉及。这些应用中,需要将虚拟的事物或者信息准确地叠加在真实物体或者场景
随着信息科技的飞速发展,信息产业对计算机人才素养要求越来越高。计算机教师在教学过程中应与学生积极互动、共同发展,要处理好传授知识与培养能力的关系,注重培养学生的独立性和自主性,引导学生质疑,探究,在实践中学习,促进学生在教师指导下主动学习。本文讨论的问题是如何在中专院校的计算机教学中实现有效教学,让学生为将来的工作,需要准备充分的专业知识,以及实践能力和学习能力。