基于LBS社区系统的大规模数据集协同处理系统的设计与研究

被引量 : 1次 | 上传用户:xxq0108
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
协同处理(Collaborative Processing),顾名思义,指的是运用多种方式,对需要分析的数据进行处理的一种形式,其往往包含多种算法的共同应用。随着现代信息技术的飞速发展,特别是互联网技术的广泛普及,信息呈现爆炸式的增长趋势。在日益增长的信息规模面前,传统的信息处理方式已经显得越来越吃力。现如今,数据量已经由TB级升至PB级,并呈现大数据化发展趋势。在这个规模的数据集面前,传统的信息处理方式已经越来越难,甚至是无力完成我们所要的需求,因此,我们引进大数据处理的方式,将协同处理与大数据结合起来,实现多节点并行的关联分析,力图改善传统意义上的关联分析系统,可处理的数据量大小和类型的局限性。同时结合实际的项目需求,将其应用到基于LBS的社区系统中,为社区的服务人员提供一个数据分析的辅助平台。基于上述的分析,本文主要完成了以下工作:一、本文分析了社区数据的特点,研究了当前数据预处理、大数据存储和关联分析领域的相关知识和算法,明确了本文所提的基于社区系统的大数据集的协同处理的定义、相关概念和处理流程。二、设计了社区数据的量化方法,设计了基于HDFS文件系统的大规模数据集分布式存储的模型。通过对传统关联分析算法的研究,提出了一种基于划分的多维关联分析模型。三、通过设计的方案,模拟系统的实际应用场景,实现了一组社区数据从数据量化到关联规则挖掘的全过程,并运用领域相关知识,分析发现的关联规则,验证系统的准确度。
其他文献
脑出血(intracerebral hemorrhage,ICH)是常见的卒中亚型,发病率高居卒中第二位。脑出血发病急骤,病情往往十分凶险,发病后1月内病死率可高达50%,且幸存者多有严重的神经功能障碍。
伴随着青春期的到来,中学生的生理和心理发生着急剧变化,尤其是性意识的朦胧觉醒,使得他们渴望得到异性的认可和好感,逐渐产生早恋现象。中学生正处于生长发育期,生理和心理
营口银行大连分行经过几年的发展,目前已经在市场上有一定的影响力,占据一定的市场份额。但随着全球经济形势的下滑,利率市场化进程不断推进,金融脱媒的加快,同业之间的竞争
G公司是由国有资产投资设立的建设筹资、运营管理高速公路的企业,主要业务包括高速公路、特大型独立桥梁交通基础设施的开发和建设、维护和管理,业务范围涉及服务区、公路建
目的分析中国人黏膜、肢端和非肢端皮肤黑色素瘤C-KIT基因扩增情况。方法采用Real-timeQuantita-tivePCRSYBRgreen染料法检测262例中国人恶性黑色素瘤(MM)C-KIT基因拷贝数变
目的:观察乳腺癌及癌旁组织中P16(Protein16)和CDK4(CychnDePendentKinase4细胞周期素依赖激酶4)的表达,探讨其对乳腺癌发病机制。方法:潍坊市人民医院病理室的术后乳腺癌和
本试验研究课题的来源是湖北省某化工企业染料废水处理改造工程。该废水有机物(COD)的浓度比较高,成分较复杂,如果不经过处理而直接排放,就会对水体污染造成严重污染。本次试验主
目的检测HER22、EGFR、VEGF等9个基因在胃癌组织样本中的表达,并探讨其表达组合方式与胃癌患者5年生存率的关系。方法用免疫组化方法检测第一组胃癌组织样本的组织芯片中EGFR
瑞京乳胶制品公司虽然近些年取得了快速的发展,但是随着外部环境日益复杂以及市场竞争日趋激烈,其所面临的经营形势十分严峻。在这种背景下,研究并制定瑞京乳胶制品公司的科
话语权对国家的经济、文化、政治有推动作用,关系到国家的快速发展。获取汉语话语权的策略研究,既要从汉语当今的实际情况出发,也要考虑我国几千年来汉语的发展变化,找出几千