一个分布式链路追踪系统TraceUI的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:klsslove520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的飞速发展,互联网应用所暴露出来的服务不再集成于某一物理机器上。它们通常位于不同服务器,并通过RPC(远程过程调用)互相调用。当一个应用响应时间变长时,对于开发者或者维护者来说,需要逐个查找与该应用相关的服务的日志,才能定位到性能短板。然而,这些日志往往同服务遍布于几千台服务器,甚至横跨多个不同的数据中心。因此,对于应用开发商来说,分布式链路追踪系统是监控平台必不可少的功能之一。目前主流分布式链路追踪系统大多针对各自公司业务场景设计,且存在日志格式固定、功能单一、维护困难、安全性难以评估等问题。在这样的背景下,本文借鉴Google Dapper相关思想,设计并实现了适用于我司需求与生产环境的分布式链路追踪系统TraceUI。本文通过重新设计日志记录API与Span结构,解决日志格式固定的问题,并为后续功能扩展奠定了基础;通过设计不同的采样器,降低高并发场景下,日志记录功能的资源消耗,进而保障主服务依然能正常运行;通过利用AOP(Aspect Oriented Programming,面向切面编程)进行埋点操作,减少对业务代码的入侵,解决系统维护困难的问题。TraceUI使用Kafka作为消息发布系统,使用ElastichSearch建立索引,使用HBase做分布式存储,使用SparkStreaming做流式计算,使用SpringBoot与angularJS进行前后端开发。通过Flume收集Kafka中来自不同服务器的日志,并结合目前技术成熟的分布式组件,实现了一款低消耗,低延时,高性能的分布式链路追踪系统。本文所实现的分布式链路系统,拥有自己的一套完整的体系,它既能够获取服务链路详细信息,准确定位到故障位置,从而有针对性的对其优化,又能够展示全局应用依赖,以在更高的层面给开发者提供整体App应用的设计与优化思路。本文所实现的分布式链路系统已经部署在公司生产环境,并7×24小时对应用服务状态进行监控,成为了监控平台必不可少的组成部分。
其他文献
改革开放至今已然经过了近40载,在这短短的40年之中,我国的市场经济实现了惊人的跨越式发展,尤其是在国家实行国企改革和大力发展私有制经济的之后,我国的民间中小私营企业如雨后春笋般蓬勃发展,催生了改革开放后新一代的一批成功企业家。在这些企业中大部分企业组织形式为有限责任公司。而如今,在时间的催促下,这些第一代企业家均已年迈,并纷纷与世长辞。由此,一系列的有限责任公司的股东继承问题不断涌现。而目前我国
创业投资机构对其持股公司经营绩效的影响问题一直以来都是许多学者研究的重点,对于这个课题的研究,国内外学者由于选取了不同的影响因素以及业绩指标而产生了不一样的研究结果。本文在借鉴前人研究的经验基础上选取创业板上市公司为样本指标,采用更加具体的指标体系研究了风险创投机构的参与持股、公司股权结构与经营绩效的相关性问题。在我国,创投机构进行股权投资活动出现在20世纪末期,经历了几个阶段的发展之后已经形成了
党的十八大报告指出,将建设创新型国家作为国家经济建设的又一大战略目标,并力争到2020年,使我国的自主创新能力显著增强。创新作为一种新型经济增长方式,已成为衡量一国竞争力与经济发展潜力的重要指标,提高自主创新能力,走科技强国之路是我国面向未来的重要发展战略。企业是社会的细胞,是市场经济的主体,企业的自主创新是实现国家创新战略的重要力量。而现实是我国企业创新强度明显不足,数据显示我国创业板上市公司2
自动驾驶技术近年来取得了飞速发展,大部分国家正在积极研发自动驾驶汽车以抢占产业制高点。自动驾驶汽车的应用一方面给社会带来了巨大的经济效益,但是另一方面,从频繁发生的自动驾驶汽车交通事故可知,自动驾驶汽车并不能保证绝对安全。当自动驾驶汽车发生交通事故时,如何高效的救济事故的受害者成为社会各界关注的焦点。关于救济自动驾驶汽车交通事故受害者,主要有三种救济路径,即传统侵权法救济、基金救济和保险救济。而我
在城市化过程中,大量人口涌入城市,并造成一系列的环境问题。浅层地温能作为一种可再生清洁能源,利用前景广阔,储量大,利用这种清洁、可再生的能源可有效的缓解能源紧缺、环境污染的状况,对于我国建设新型城市化意义重大。在开发利用浅层地温能过程中,建立长期有效的浅层地温场监测站,能有效实时地监测与评估浅层地温场分布特征。本文通过开展南京市浅层地温监测,对比了不同监测技术的有效性与合理性,分析了区域性浅层地温
P2P网络贷款,是指不同民事主体之间通过互联网电子商务平台完善相关交易手续从而确立资金借贷关系的行为。一般表现形式为:有资金需求的借款人,通过在特定的电子商务平台上发放借款邀约,有资金并有投资意愿的出借人通过在该平台上投标进行放贷。其中,该电子商务平台即为P2P网络借贷平台,对外表现为金融服务网站。P2P网络贷款在我国又被称为人人贷。P2P网络贷款作为互联网时代新兴起的民间融资形式,发源于英国一家
乡村振兴指产业、生态、文化、人才、组织五大方面的振兴,是以产业兴旺、生态宜居、乡风文明、治理有效、生活富裕为总体要求,以农业现代化为总目标,以坚持农业农村优先发展为总方针的振兴。“五个振兴”是一个有机的整体。乡村振兴战略的实施,能有效促进现代化经济制度发展,加快构建美丽中国;促进我国优秀传统文化进一步发展,促进全体人民更快走向共同富裕之路。因此,乡村振兴战略的实施对乡镇政府的职能也提出了新的更高要
用户画像是真实用户的虚拟代表,是建立在一系列真实数据之上的目标模型,可以用来描述用户的需求、个性化偏好以及用户兴趣。随着近年来互联网的快速发展,各行各业的电商平台如雨后春笋般涌现出来,市场竞争变的日益激烈,为了提高电商平台的竞争力,电商平台需要尽可能满足不同用户的需求,因此电商平台需要对平台用户数据进行分析形成相应的用户画像。目前市场上各电商平台普遍采用批处理的方式对用户全量数据进行处理形成用户画
外国人侵权法案(Alien Tort Statute,以下简称ATS)首次出现于1789年《司法法》的一个条款之中,目前被编为《美国法典》第28卷第1350节,规定联邦地区法院对外国人针对违反国际法或美国缔结的条约的侵权行为所提起的任何民事诉讼具有初始管辖权。从法案内容上可以看出,ATS诉讼的管辖权在国际法的管辖权与民事管辖权之间交叠缠绕,这一特殊的诉讼模式也为美国所独有。由于目前已经有多起涉及中
互联网的蓬勃发展很大程度上推动了电子商务购物的发展。电商的快速发展带来了巨大的物流运输和配送需求,而电商快递业务量的快速增长,使得线上线下结合发展将成为大势所趋,这将给电商物流带来一次非常难得的发展机会。消费者如果对产品忠诚,仍旧可以到其他地方买这个产品,而如果既对网店销售的产品忠诚,又对物流忠诚,才能继续在这个网店购买物品。而电子商务物流配送具有覆盖范围广、多品种、小批量等特点,这些会使得电子商