【摘 要】
：
传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求.本文从实际需求出发,结合flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统.通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息.满足了集群海量日志的实时采集和快速分析需求，为日常服务检测、快速排查故障维持系统正常运行，提供了可行性工具。
【机 构】
：
中国科学院高能物理研究所计算中心,北京 100049
【出 处】
：
第十七届全国科学计算与信息化会议暨智慧科研论坛
论文部分内容阅读
传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求.本文从实际需求出发,结合flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统.通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息.满足了集群海量日志的实时采集和快速分析需求，为日常服务检测、快速排查故障维持系统正常运行，提供了可行性工具。
其他文献
计算化学云服务社区采用软件即服务的模式,使用浏览器/服务器结构来提供专业交互式的计算化学科学计算服务,以“降低使用门槛、提高使用效率,助跑计算化学用户的科学研究工作”为目标,研究社区中各种软硬件资源的分类方式,方便用户快速找到自己所需的资源;按照各类资源的使用模式和用户偏好,将资源以最合适的方式提供给用户.依托中国科学院超级计算环境,为广大科研用户提供“一站式”计算的Web服务模式和异构资源协同工
本文介绍了网格环境日志分析框架(LARGE)的结构设计和工作原理.LARGE将整个日志分析流程分为采集、分析、反馈三个模块,并针对环境中系统日志和SCE日志这两种不同的日志类型提出了针对性的处理方法.LARGE系统部署在中科院超级计算环境中,对维护系统正常运行、及时发现并处理异常起到重要的支撑作用,同时对系统和用户行为的进一步分析提供了很好的基础.
X射线特征谱测量及X射线的吸收是大学物理核与粒子实验教学中的经典实验,在培养核与粒子方向的人才上有重要的意义.然而基于NIM系统的老式实验测量设备技术落后、体积巨大、使用不便,本文介绍了一种新型X射线能谱测量实验系统,采用可重构技术,通过调用各个功能模块,构造多道分析仪,实现了X射线能谱的测量.其具有体积小,性能好的特点;同时使用Labview软件编写了配套软件系统,界面优美,功能强大.该系统经过
ARC(AdvancedResource Connector)CE(Computing Element)是Nordugrid开发的网格中间件中的对计算资源管理的组件.ARC CE相对于其他的对等计算资源网格组件,具有轻量级,易管理,认证简单,易扩展的特性,因此越来越广泛地被应用于各类网格应用平台上.高能物理实验ATLAS具有数据量大,计算量大的特点,采用了网格计算的方式整合了位于全球上百个计算中心
针对量子通信中对于真随机数发生器的高数据率、高集成度的特殊需求,本文提出了一种以数字电路中的时钟抖动作为真随机数物理熵源的高速并行真随机数发生器ASIC芯片设计方案,计划提供十路并行、数据率可达200MHz的高速真随机数序列.
瞬发γ射线中子活化分析(简称PGNAA)技术利用中子和γ射线穿透能力极强的特点,可以实现对较大厚度物体的内部的全元素信息进行探测,是一种被广泛应用到工业物料成分分析中的检测技术.本文提出的高通过率、高信噪比电子学系统,利用先进的电子学技术,可以实现在PGNAA应用中,对移动中的工业物的料成分及含量进行实时、准确和快速的监测分析,达到单次测量的时间为120s,脉冲信号的平均计数率达到500kc/s的
反应堆关键材料性能优化模拟作为数值反应堆中的主要模块之一,对于研究解决我国现役核电站的性能优化、延寿和运行安全性等难题具有重要的意义.传统的材料辐照损伤实验表征技术虽然可以观测到缺陷的原子尺度特征,但不能获得稳定缺陷的动态演化过程及对其材料性能降级的影响.动力学蒙特卡洛算法作为计算机模拟材料生长原子过程的重要方法,在其他材料模拟领域已经获得广泛使用.本文研究了使用KMC算法模拟核材料辐照缺陷演化的
随着信息化建设的不断深入,以IP网络为承载平台的信息系统快速发展,数据业务、流媒体业务大规模增长.在实际工作中,很多单位的内部网络基本上都没有统一的存储系统用于核心数据的存储,数据信息仍分散存储在各设备和计算机终端上,不利于数据的集中管控,凸显了最为核心的安全问题.随着自主可控技术的运用,基于国产化平台的数据集中存储系统将提供网络数据的集中存储,解决信息零散分布存储,管理者无法集中管控的问题.本文
在核物理实验中,常用多道脉冲幅度分析器进行数据采集和分析,而滑移脉冲发生器可对其进行标定校准从而减少微分非线性、积分非线性、道漂移等技术指标的影响.本文介绍了一种基于FPGA和LabVIEW的数字式滑移脉冲发生器,从仪器的硬件和软件两方面详细说明了设计思路,实现了数字化.达到线性误差小于2％、1Hz-50KHz频率的脉冲输出的设计目标.
教育漫游(educationroaming,eduroam)满足了授权用户在成员高校和科研机构之间自由、安全的使用无线网络,提高了网络接入效率.eduroam在无线网络的接入认证时,应用IEEE802.1x协议,采用RADIUS协议进行认证.本文分析了eduroam架构和认证过程,在高能所网络环境中部署实践了eduroam认证环境,验证了账号认证和签发证书认证的可行性,并提出在认证过程中对LDAP