基于MongoDB的分布式日志采集系统设计及实现

被引量 : 0次 | 上传用户:mlove251
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
企业应用系统中,各个系统都会有自己的日志收集程序,日志存储在自己的系统中,日志的格式也不一样。用户在各个系统中无缝切换时,产生的日志数据保留在原系统中,这样分散存储的日志数据无法整体用于用户请求分析,甚至用来查询用户登陆情况都比较困难。因此需要研发一套系统集中收集日志数据,统一日志格式,实现对日志数据的集中存储和分析。论文以设计和实现基于MongoDB的分布式日志采集系统为目标。系统由分布式部署的客户端收集数据后传输给消息系统,消息系统将日志数据写入MongoDB数据库。消息系统集群部署,这样不仅能够满足系统的性能要求,还能保证系统稳定可靠,MongoDB数据库采用自动分片部署,以实现高性能的同时可以动态扩容。本系统创新之处在于系统收集用户请求信息作为日志数据的同时,采用Druid收集系统与关系数据库交互时产生的sql日志,同时根据两者在同一线程的特性,采用Threadlocal巧妙地将两者联系起来。通过这些工作,能够为分析原系统性能提供数据依据。
其他文献
本文利用液相烘焙磺化法,由对甲苯胺制备高纯4B酸。通过对反应条件的优化研究,得到了较为理想的合成条件,高纯4B酸的收率达90 % 以上。
在新时代创新型高素质人才培养背景下,地方高校科研育人工作需要创新思维,更新育人理念,创新育人模式。以问题为导向,结合广西科技师范学院科研育人的实践,创建“1+6式”科研育人新
<正>钢铁产业是基础性工业,在我国经济中的地位举足轻重,随着中国东盟自由贸易区的建立,中国和东盟国家的钢铁贸易日趋重要。我国的钢铁产品对于东盟国家非常具有潜力,而东盟
<正>我国劳动力成本进入快速上升期(一)直接成本快速增长直接成本的上升趋势较为显著。20世纪90年代以来,我国职工实际平均工资的增长可以分为两个阶段:第一个阶段(1990年 ̄199
欧盟是世界上最大的经济体,也是我国最重要的贸易伙伴,中欧贸易对我国的外贸发展而言十分重要。欧债危机发生后,欧盟经济受到巨大冲击,中欧贸易也因此受到影响。本文以中欧贸
随着我国民办高校数量和规模迅速扩大,学校内部财务管理问题日渐突出,一定程度上制约了民办高校实现可持续发展。首先对民办高校财务管理工作中普遍存在的问题进行了分析,然
研究背景宫颈癌是妇科最常见的女性生殖道恶性肿瘤,该病早期常无明显症状和体征,后期可出现阴道流血等症状,病因也尚未完全明了,发病年龄分布广泛,有淋巴转移者预后差。近几
本文以日本战后的墓制,尤其是墓葬观念的转变为研究对象,考察战后日本社会、经济发展给墓制形式和观念带来的显著变革。战后的民法改革,废除了日本传统的家族制度,从而带动了
<正>法治既是一条宏观的治国方略,也是一种具体的制度建构和治理模式。为了进一步把握中国法治进程的特色和脉动,寻求一条可行的具体法治路径,由中国法理学会副会长孙笑侠教
本文分近代不平等条约对清末法制变革的间接影响和近代不平等条约对清本法制变革的直接影响两个部分,阐明了近代不平等条约与清末法制变革的相互关系,使我们能够从历史的角度总