论文部分内容阅读
随着云计算技术、数据挖掘技术在不同应用领域的不断发展,分析、设计与实现一个数据挖掘云服务系统需要应对各种各样新的要求。具体而言,不同数据挖掘应用领域的数据迅速增长,需要分布式存储数据;数据分布式存储的特点,数据挖掘算法需要采用分布式计算模型来实现;实际应用的数据挖掘应用不能由单一的步骤完成,数据挖掘服务系统需要提供一系列的步骤来完成复杂的任务;对于同一应用目标的数据服务的不同用户有着不同的数据服务需求,数据挖掘服务系统需要根据用户的特点提供按需定制的数据挖掘服务;数据挖掘服务系统本身涉及底层平台、任务执行、多种算法属性以及系统性能要求等多方面。数据挖掘云服务系统的总体目标是在基于云计算环境下的数据挖掘应用领域中,通过分析并识别数据挖掘云服务系统的各种需求,设计数据挖掘云服务系统的整体结构及组成部分,探索数据挖掘服务系统需要的关键技术并最终实现系统。为了有效解决数据挖掘云服务系统遇到的问题,本文从自适应软件系统的角度出发,借鉴了云计算、数据挖掘技术及按需服务等相关技术,结合自适应软件系统的相关理论和解决方法(包括控制结构以及自适应策略等),提出了一种数据挖掘云服务系统支撑框架-CloudDMinerSF,并探讨了以下几个方面的关键技术:1.自适应需求获取以及系统控制结构方面。从自适应软件系统的定义出发,从内外部分析得到数据挖掘云服务系统的自适应要求,认为数据挖掘云服务系统属于自适应软件系统。在自适应软件系统控制结构的基础上,设计出支撑框架CloudDMinerSF双闭环的控制结构和主要组件。2.系统知识抽象与策略表示方面。从知识抽象与策略表示在自适应软件系统的必要性出发,在支撑框架CloudDMinerSF中引入了知识库,并为CloudDMinerSF知识库设计了专门的描述语言,用于自适应需求描述、自适应策略表达、领域知识的表示等。3.运行机制方面。在CloudDMinerSF知识库的基础上,提供了智能决策和调度执行两类运行机制,体现了支撑框架CloudDMinerSF的双闭环控制结构。其中,智能决策机制主要将人工智能技术引入到系统运行中,包括推理、规划和反馈学习三种,不仅满足了两类自适应需求,而且考虑了运行机制实现的效率。调度执行机制在智能决策机制的基础上,提供面向多用户并发任务请求的调度与执行,包括任务控制动作以及任务状态管理。最后,本文介绍了CloudDMinerSF的参考实现,包括系统的各个组成部分,各部分的核心算法实现以及系统的用户交互界面等,并通过实例应用进行展示。