增量数据关联规则提取方法的研究及应用

来源 :辽宁工业大学 | 被引量 : 0次 | 上传用户:rooku
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断进步以及各行业的稳步发展,每个行业每天累积的数据量迅猛增长,对于数据处理的实时性要求也越来越高。选择一个可靠且高效的方法将不断更新的数据进行存储和处理十分重要且紧急。关联规则挖掘在数据挖掘领域中的地位十分重要,针对增量数据进行关联规则挖掘的研究价值较高并且应用前景广阔。论文主要针对增量数据关联规则提取问题进行研究,分析现有的针对增量数据所进行的关联规则挖掘算法各自的特点。提出了基于缓冲区技术的增量数据关联规则提取方法并且将其移植到Spark环境之中。研究有关蕴含强度的概念并将其作为判断所提取出的规则是否为关联规则的标准之一。论文具体研究内容主要包括:针对增量数据关联规则提取方法进行研究,对该领域中的经典算法以及针对动态数据的处理方法进行分析和总结。由于增量数据具有较高的实时性并且随时间变化不断进行更新,数据量往往十分巨大,因此对数据的扫描只能进行有限次。如果选择利用传统的FP-Growth算法进行增量数据挖掘工作,需要多次扫描数据库,这大大降低了算法执行效率,它的改进算法CAN虽然避免了多次扫描事务数据库以及建树工作,但是当数据增量改变时仍需多次更新树中结点计数并且伴随有数据丢失的情况发生。针对上述这些问题提出了一种基于缓冲区技术的增量数据关联规则提取方法AB-Tree,利用缓冲区技术批量处理数据,减少对树的频繁扫描,减少数据丢失的情况发生并且将算法移植到Spark环境中实现并行计算从而能够有效提高关联规则的挖掘效率。在原有对关联规则提取过程中利用最小支持度阈值进行判断其是否为挖掘结果的情况下加入蕴含强度概念。利用单一的判断方法所提取出的规则会存在负相关现象即一个事件发生会降低另一个事件发生的可能性,引入蕴含强度概念后可以提高规则独立性并且挖掘结果的准确性和可用性也有一定提高。将基于缓冲区的增量数据关联规则提取算法应用到实际生活之中。首先对事务数据库中的数据进行预处理,将事务中的项目按照指定顺序排列,去除掉噪声数据和错误数据后再对其进行关联规则的提取,分析提取出的结果可以为商家制定更好的销售模式从而增加销量。采用对比实验的方法证明算法真实有效。
其他文献
松花粉又称松黄,是指松树花蕊产生的花粉。据研究所示,松花粉中包含大量的营养成分,包括氨基酸、维生素、甾醇、黄酮类化合物等有效生理活性物质,起着保肝护肾、抗肿瘤、提高免疫力、血脂血糖调节及抗氧化的重要作用,是非常珍贵的保健品原材料。松花粉酒的主要原料为松花粉,运用高效高压差低温连续提取,有效的保留花粉中各种活性物质,加入于基酒中经过六个月以上的酿制,最终制成富含丰富营养,颜色微黄,具有保健效果的松花
背景:代谢综合征包括高血压、高血脂、胰岛素抵抗、肥胖等疾病,其严重影响人们的健康,对人们的生活造成很大的困扰。因其发病机制复杂,所以难以治疗,寻找相关疾病的药物及新的治疗靶点刻不容缓。GPCRs受体家族中的多巴胺第二受体,其激动剂对运动功能以及机体代谢都有显著的影响。本研究通过实验室前期建立的GPCR筛选系统对多巴胺第二受体的中药小分子化合物激动剂的筛选,和对代谢性疾病的药效研究来发现中药治疗代谢
随着LNG市场需求的不断增加,LNG模块建造逐渐成为海洋工程建设板块不可或缺的一项业务。而LNG模块相比传统海洋平台,其结构更复杂,建造要求更高。由于管线和设备穿越分片结构
球墨铸铁因为具有较好的延伸率、抗拉性能、耐磨性以及成本低廉等特点,被广泛应用于汽车、机械制造和风电等众多行业。我国风力发电机组大多在沿海以及北方沙漠等多风地带,其环境及气候条件极其恶劣,面临着海水、潮汐、盐雾等自然环境的影响,常年在几十米甚至几百米的高空以及高风速、高温差、高寒等环境下工作。因此,有必要对球墨铸铁的大气腐蚀现象及规律进行研究。本文以QT400-18L为研究对象,研究添加不同质量分数
为适应新媒体发展的步伐,高校在传统德育教学的基础上应注入新的课程模式和教学方式。鉴于隐性德育在高校德育教育中的重要功能,将高校官方微信公众平台作为隐性德育课程的创新突破口,促进高校官方微信公众平台上隐性德育课程的建设。论文以GSDATA.CN大数据分享平台上2018年9月高校微信榜单为依据,选取排名靠前的“一流大学”和“一流学科”建设高校各10所,并将这20个官方微信公众平台上的隐性德育课程资源作
强心苷化合物具有增强心肌收缩作用,临床上用于治疗心律不齐及充血性心力衰竭等。现代药理学研究表明,强心苷类化合物可与钠钾ATP酶特异性结合,不仅具有强心作用,还可以选择性地抑制人源肿瘤细胞的增殖,并诱导其凋亡。因此,开发钠钾ATP酶抑制剂,作为抗肿瘤药物收到了人们的广泛关注。我国报道含有强心苷化合物的动植物有30多种,例如毒毛旋花、洋地黄、羊角果、黄花夹竹桃、夹竹桃以及蟾酥等。夹竹桃是一种观赏性植物
随着我国社会主义市场经济的不断发展和国民生活水平的提高,我国汽车工业也进入了飞速发展的阶段,私人汽车的数量也是直线上升,然而并不是每家每户都能拥有属于自己的配套车
目的针对恶性肿瘤放疗后引起的放射性肠炎,根据导师的临床经验运用扶正清肠方口服配合思密达混合液保留灌肠治疗放射性肠炎患者,观察和评价单纯使用思密达混合液保留灌肠与联
乳酸类产品是一类十分重要的有机化工中间品,广泛应用在药品、食品和化妆品等多种行业中。目前乳酸类产品主要采用糖类发酵法进行工业生产,该生产方法不仅对环境造成的污染较
飞机产品对装配精度要求很高。飞机制造和装配误差是影响装配精度的重要因素。在飞机制造领域,板件的装配是的一个典型装配特征。为了有效的保证装配的质量和产品的生产效率,装配工艺系统需要具有优良的可靠性。目前,对机翼薄板装配可靠性的研究只考虑装配偏差或装配顺序优化的单边影响。本文以翼板的装配流程为研究对象,建立了针对翼板装配系统的装配可靠性模型,综合考虑装配偏差和装配顺序的影响,提出了基于遗传算法的机翼薄