【摘 要】
：
在传统的访问日志分析系统中,数据采集效率较低且日志采集目录不能被递归监听,存储系统及计算系统缺乏高可用性。构建基于分布式集群的高可用日志分析系统,通过Nginx直连Kafk
【基金项目】
：
上海市科学技术委员会资助项目(175111110204)
论文部分内容阅读
在传统的访问日志分析系统中,数据采集效率较低且日志采集目录不能被递归监听,存储系统及计算系统缺乏高可用性。构建基于分布式集群的高可用日志分析系统,通过Nginx直连Kafka的方式采集实时分析的数据和自定义Source组件的Flume采集离线分析的数据,使用高可用的分布式文件系统HDFS和计算系统Spark分别提供持久化存储和计算引擎,利用Mysql和Hbase分别存储聚合数据及明细数据。实验结果表明,该系统的各项功能符合预期结果,直连Nginx-Kafka的采集方式和自定义Source组件的Flume明
其他文献
目的探讨糖尿病合并抑郁症的危险因素及护理干预。方法加强对患者的糖尿病及抑郁症的健康教育，结果有效消除患者的抑郁情绪并提高糖尿病治疗的依从性。结论增强患者战胜疾病的
目的探讨疗养科实施责任制护理小组模式的效果。方法根据疗养科区域特点和房间分布划分为3个责任小组,每组由1名组长、2～4名责任护士、1名清洁服务员组成,小组成员共同为所负
营销观念体现了贯穿于银行经营活动始终的经营哲学，是一种时时处处都要体现以市场为导向，以客户为中心，以效益为目的的经营理念。但是，目前我国商业银行“以客户为中心”的市场营
伴随着互联网的高速发展,外卖行业的需求量大幅度上升。文章以扬州市第三方网络外卖平台运行过程中所存在的食品安全监管问题为例,研究互联网背景下,第三方外卖平台在食品安
大型煤炭集团所属的不同法人之间实施综机设备集中租赁和统一管理有经营租赁和融资租赁两种模式，不同模式之间有不同的管理效果和税负影响。本文站在大型煤炭集团角度，第一次完
分析房地产开发企业的会计核算，应从成本费用核算和收入核算两方面进行分析。经营房地产投入资金多，风险大，在项目的规划阶段，必须对项目的投资与成本费用进行准确的估算，以便作出
现代企业制度的建立不仅仅是一个企业形式上的变革，更重要的是方方面面观念的变革。其中，资本经营就是一个直接关系现代企业兴衰成败的关键问题。资本经营既可以给企业带来生机
国家为推进高职教育招生考试改革,设计了六种招生考试方式。对湖北省部分中职院校进行调研,分析几种招生考试方式的实现状况及考生的认同度,结合高职招生考试实际,得出几种招
信息技术自诞生以来就一直保持着高速发展的态势,互联网技术的发展让人与人之间的关系更加紧密。随着时间的推移,网络中的数据变得越来越繁杂,信息过载的问题变得愈加严重。
【目的】探讨肾安康冲剂治疗慢性肾功能衰竭（CRF）的临床疗效及作用机理。【方法】将72例CRF患者随机分为治疗组（36例）和对照组（36例），两组均服用爱西特片及常规西药支持对症治疗，治疗