基于舆情大数据的突发事件实时检测算法与系统

来源 :南京大学 | 被引量 : 0次 | 上传用户:sxiaohui8709252
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
运用大数据提升政府治理和民生保障服务水平,是实施国家大数据战略的重要任务之一。随着政务服务信息化水平的日益提高,政府服务积累了越来越多的数据信息。其中,12345公共服务热线平台累积了大量民生诉求数据,从这些海量诉求数据中以智能化分析方法挖掘民生类突发事件,对于提升政务服务质量与效率具有重要价值与意义。但是,目前国内外针对政务服务领域开展突发事件检测的相关研究与应用还很少,而现有的基于社交媒体短文本的突发事件检测方法也不适用于政务服务领域突发事件检测。因此,针对以上问题,本文研究提出了一种突发事件实时检测方法与算法RAEDetection。本文的研究内容与贡献点主要包括:(1)研究提出了一种基于公共服务热线诉求大数据的突发事件实时检测方法与算法RAEDetection。首先,基于Kleinberg模型提出了一种突发词实时识别算法,可以从流式诉求记录中实时识别突发词汇,为后续突发事件检测提供线索;然后,研究实现一种基于分层语义分析的候选突发事件检测算法,从主题层与事件层两个层面逐步细化诉求数据记录的聚类结果,得到候选突发事件;在此基础上,进一步研究提出一种基于事件地域树的地域模式自适应识别算法,准确地识别突发事件发生的地域模式以及涉及的地域范围;最后,研究提出一种基于滑动时间窗口的突发事件实时检测与趋势分析方法,能够动态地发现并且跟踪某个突发事件的发展走向。(2)为了提高算法对海量公共服务热线诉求数据的分析挖掘处理能力,本文在RAEDetection算法的基础上,基于Spark平台设计实现了一种大规模RAEDetection并行化算法。该并行化算法在保证突发事件实时检测准确率的同时,有效地提高了算法的运行效率与可扩展性。(3)基于本文提出的算法,设计并实现了一套突发事件实时检测系统。该系统集在线实时事件检测与离线全量事件检测于一体,具备从真实业务场景中及时、准确地发现突发事件的能力,目前已经成功落地应用于江苏省公共服务热线平台。(4)根据真实应用场景下大规模城市公共服务热线数据集上进行的实验评估结果,本文所提出的突发事件实时检测算法RAEDetection与实现的应用系统,能够有效地提高突发事件检测的准确率,同时,还具备良好的运行效率与可扩展性,能够满足实际应用的需要。本文工作获得2019年“第七届CCF大数据学术大会”的“最佳应用论文奖”。
其他文献
可重构机械臂可以根据不同的任务需求对自身的构形进行重新配置以及组合,表现出许多传统机械臂不具有的优势。“可重构”与“模块化”作为可重构机械臂设计的两大基本要求,其主要思想是将一个复杂的机械臂系统分解为多个具有较高便携性与可维护性的子系统,从而有效缩短机械臂系统的设计与制造的周期。可重构机械臂系统不可避免在环境扰动下完成工作,并且要综合考虑并确保系统的稳定性、鲁棒性、精确性、节能性等指标,因此在环境
幼儿园作为学前教育的主要场所,首要考虑儿童的生理、心理对环境体验以及行为特征与环境之间所产生的的互动效应,进一步培养儿童对幼儿园环境认知达到空间教育目的,通过大量文献阅读、资料整理,归纳幼儿园环境设计的思路,以米德符号互动理论中的“符号”作为设计语言,感知周围环境的事物是“符号互动”的过程,并完善幼儿自我与环境形成的关系,分析幼儿与环境空间互动方式,发挥幼儿个体行为对环境产生认知并主动的参与环境建
大豆起源于中国,其加工和食用已有数千年之久。市售包装豆奶作为一种大豆深加工产品,是近几年刚刚兴起的一类健康饮品,其中含有大量的优质植物蛋白、大豆异黄酮、维生素和卵磷脂,具有降低人体胆固醇、防治糖尿病、高血压和冠心病等功效,被誉为“绿色牛乳”。但是,原料大豆在种植过程中会使用多种除草剂以控制杂草生长,其中大多数除草剂的降解周期较长,易残存于环境水和土壤中,大豆通过富集作用受到污染,经深加工处理后,会
本研究以承德避暑山庄为研究对象,以艺术设计创作为主要视角,以承德避暑山庄的视觉元素作为出发点与落脚点,从承德避暑山庄三百余年的历史变迁中分析其独特的艺术特色,针对当下照搬故宫文创式的、线下单一的文化和艺术传播手段,结合当下手机主题界面这一新兴的线上传播方式,形成新的传播渠道和形式,拓宽承德避暑山庄文化和艺术传播的途径。在具体的设计创作上,通过计算机这一工具,对考察调研中所收集的图形、图案、色彩等视
目的:探讨维生素D水平、维生素D受体基因多态性与肺结核患者治疗结局的关联性。方法:采用队列研究,以2019年乌鲁木齐市接受DOTS治疗的肺结核患者为研究对象,收集患者血液样本及基线资料,随访观察患者治疗结局。描述患者基本信息,通过倾向性评分匹配法均衡混杂因素的偏倚。将维生素D水平分为缺乏(浓度<30.0ng/m L)、充足(浓度≥30.0ng/m L),维生素D受体基因多态性位点包括Apa
目的:探讨基于多层螺旋CT结合纹理分析对骨盆原发性骨肿瘤与肿瘤样病变鉴别诊断的应用价值。方法:回顾性收集2014年1月至2020年11月在新疆医科大学第一附属医院经病理确诊的共73例患者CT影像学资料(共73病灶)。包括良性骨肿瘤16例,恶性骨肿瘤29例,肿瘤样病变28例。良性骨肿瘤包括骨巨细胞瘤10例,骨软骨瘤6例;恶性骨肿瘤包括软骨肉瘤11例,骨肉瘤12例,脊索瘤6例;肿瘤样病变包括单纯性骨囊
架构在无线自组织网络中的链路除了受到邻居链路的影响外,也会受到来自背景噪声与环境中干扰源的干扰。在这种条件下,一方面节点之间需要通过合作,检测干扰源的数量和位置、
中国的交通部门发展迅速,但是交通的繁荣在带来便利的同时也造成了温室气体的排放和大气的污染等一系列问题。为此,国家出台了相关政策推广新能源汽车。然而综观已有研究发现
目的:对从新疆紫草中提取并分离得到的乙酰阿卡宁体外抗肿瘤活性进行筛选,并对其诱导黑色素瘤A375细胞凋亡机制研究。方法:1 MTT法检测乙酰阿卡宁对ECA109、EAC、A375、A2780、MCF-7细胞增殖的抑制作用。2 CCK-8法检测不同浓度不同时间下乙酰阿卡宁对A375细胞的抑制作用;细胞集落形成实验检测不同浓度乙酰阿卡宁对A375细胞集落形成的影响;倒置显微镜观察不同浓度乙酰阿卡宁对A
近年来,未成年人犯罪数量逐渐上升,青少年犯罪已经成为全球普遍关注的重大社会问题之一。对于被检察机关作出附条件不起诉决定的涉罪未成年人这类特殊群体,他们的身心都还没有完全成熟。因此他们最容易受不良朋辈群体、社会不良风气以及家庭环境这些外部因素的影响,并且他们自身往往并不知道自己的行为已经构成犯罪。另外,青少年代表着一个国家的发展水平,我们国家对于青少年问题有着极高的重视,当然未成年犯罪问题也不例外。