【摘 要】
:
互联网的高速发展,涌现出大量的数据分析需求。传统的数据处理方式只能在数据积累后在磁盘中计算,并且运算时效长,数据量有限。以传统的大数据离线批处理为代表的的分析方法已经不能满足越来越复杂多样的数据处理需求。另外在通用型搜索引擎后时代,针对某个单一领域的搜索被更广泛的使用,但是垂直领域的搜索往往不会针对该领域提供搜索数据的分析,导致对于该领域的搜索数据行为无法有效观测,以致无法制定针对性的搜索策略。为
论文部分内容阅读
互联网的高速发展,涌现出大量的数据分析需求。传统的数据处理方式只能在数据积累后在磁盘中计算,并且运算时效长,数据量有限。以传统的大数据离线批处理为代表的的分析方法已经不能满足越来越复杂多样的数据处理需求。另外在通用型搜索引擎后时代,针对某个单一领域的搜索被更广泛的使用,但是垂直领域的搜索往往不会针对该领域提供搜索数据的分析,导致对于该领域的搜索数据行为无法有效观测,以致无法制定针对性的搜索策略。为了解决这些问题,本文研究了流式计算下的垂直搜索数据分析实现,利用流式计算技术解决实时性数据流需求,同时针对系统性能问题提供不同的优化方案,提高数据处理效率。另外考虑到数据分析后的结果缺乏关联性,可视化展示过于刻板等问题,提出了利用搜索来优化数据分析后结果的方案,将数据分析后的结果导入搜索引擎建立索引,建立各个分析模块之间的关联。本文研究了在流式计算条件下的搜索数据分析过程,同时设计了搜索数据分析的系统实现,该系统为不同领域数据的分析提供通用解决方案,提升数据管理能力。本文的主要研究工作如下:第一,研究了流式计算过程,从计算模型、任务管理等方面详细梳理了流式计算的实现。另外研究了流式计算过程的性能优化,针对具体场景提供优化解决方案,提高系统性能。第二,提出了利用搜索来优化数据分析后结果的方案,解决数据分析结果缺乏关联性、分析指标混乱等问题,利用搜索引擎对数据分析后的结果进行检索和分类,降低分析结果检索的难度。第三,设计了以流式计算为基础,结合离线批处理的垂直搜索数据分析系统,针对搜索数据特点以及数据量需求,研究实现了本系统需要的大数据架构和系统架构。另外在系统实现的基础上,梳理了搜索日志分析的指标,从搜索和用户等方面提供动态实时的数据分析以及可视化展示。
其他文献
行政审批是政府管理公共资源、促进社会经济繁荣的重要行政手段,其主体是政府,对象是公众,审批的效率高低,办理是否便捷,直接影响营商环境好坏,关乎着社会公众的利益。自我国社会主义市场经济体制建立以来,社会经济得到快速发展,但各种社会问题也在不断涌现,加快推进行政审批制度改革,不断优化行政审批制度,使政府的审批活动与社会经济的发展水平相适应,成为了我国政府的必然选择。2016年,中央提出“放管服”改革,
随着5G、云技术、人工智能等新技术的不断推广和应用,多种形式的金融生态应运而生,为金融供给侧结构性改革提供了强大的“催生剂”,更对银行创新金融服务提出了紧迫要求。商业银行赖以生存的基础是其完整的具备自己特色的业务流程,而业务流程的优劣则决定了银行对客户提供服务的差别、客户满意度的高低等,因此在当前商业银行竞争趋于白热化的状态下,业务流程的持续优化发挥着至关重要的作用。本文以工商银行乌鲁木齐分行为例
背景及目的肝细胞癌是肝脏中最常见的恶性肿瘤,因其高复发率闻名。虽然肝脏外科在近百年得到了快速的发展,手术技术大幅度提升,设备不断改善,肝癌疗效及预后有了一定的改善,但是肝癌术后复发率仍然居高不下,成为肝癌病人死亡的主要原因。因此研究降低肝癌术后复发的方法,可能给肝癌病人提供新的生机。目前研究表明:肝切除术后肝再生微环境能够促进肝癌的生长及复发,但是具体的作用机制待我们进一步研究探讨。为了研究肝再生
本研究由两部分组成,第一部分为从肝脾论治乙肝肝硬化代偿期(Compensated hepatitis B cirrhosis,CHBC)文献的数据挖掘,第二部分为和合疏养方联合恩替卡韦的中西医结合方案治疗乙肝肝硬化代偿期的疗效评价。第一部分目的:总结从肝脾论治乙肝肝硬化代偿期的中药复方用药规律。方法:对中国知网、万方数据知识服务平台、维普中文期刊数据库等中文数据库自2008年至2019年关于从肝脾
随着我国人民物质生活水平的显著提高,公共场所内存在大规模人群聚集的情况已经成为常态,从而埋下了严重的安全隐患。现如今,智能化的视频监控设备被广泛应用于人群聚集场合的实时监测,为人群行为管控和突发事件预警提供了诸多有效信息。其中,人群数量信息作为公共治安管理的重要决策依据,因此对基于智能监控图像的人群计数算法进行深入研究非常具有实际意义。在对公共场景中视频监控图像进行人群计数时,基于卷积神经网络的人
我国地质灾害问题具有突发、多发、频发的特点,尤其在山区地质灾害特点就更加突出。其中滑坡灾害在众多的地质灾害中占主要部分,并严重威胁当地群众的生命和临近农牧业的生产安全。此外基础设施往往也遭受严重破坏,直接影响区域生态可持续发展和必要的经济社会活动。本研究以新疆新源县为研究对象,该县特殊复杂的地形地貌,加之降雨丰富且黄土分布广泛,使其地质灾害频发。新源县又以农牧、旅游服务为主,地质灾害频发不仅危害当
普瑞巴林安全性高、耐受性好,是新一代治疗神经病理性疼痛和癫痫的首选药物。化学-酶法合成普瑞巴林已成为目前研究和开发的热点。其中,(3S)-2-羧乙基-3-氰基-5-甲基己酸是制
《十九大报告》作为我国政治性文件当中的重要一员,受到学界广泛关注,研究《十九大报告》文本的学者越来越多。与此同时,也有不少学者重视《十九大报告》外文翻译研究,其中大多数论文是以传统的翻译理论来分析《十九大报告》英语翻译研究。还有一部分文章在采用功能对等翻译理论、系统论、目的论、马克思主义社会科学方法论和生态翻译理论来分析《十九大报告》英语翻译,至今缺乏应用彼得·纽马克文本类型翻译理论来全面系统地进
水下探测技术的发展是水中对抗、海洋环境监测与资源开发等领域发展的重要支撑。现有基于水声探测原理的水下探测技术存在着固有的局限,很难满足未来复杂水下对抗环境的探测
乐黛云作为中国比较文学学科的奠基人和主要倡导者,从20世纪80年代初期开始一直致力于中国比较文学学科的创建、研究方法的开拓、学术梯队的建设以及研究生人才的培养等工作,其学术视野始终扎根于中华文化沃土,紧跟国际比较文学前沿理论,注重形塑中国比较文学的主体性精神,并将比较文学定位为“跨文化与跨学科的文学研究”。而这样的定位使得中国比较文学迸发出了无限的学术活力与包容性。本文从中国比较文学学术发展史角度