论文部分内容阅读
在实时业务数据处理中,需要用到Flume、Kafka、Slipstream等一系列功能组件。在前台业务系统与大数据平台的数据传输过程中,需要监控数据是否正常流动。如果出现了异常,需要定位异常出现的位置。通过一系列的监控工具和方法,可以快速定位各个环节的功能组件是否正常运行。该技术方案的主要目的是为了监控大数据平台实时数据计算的整体流程是否正常工作,前台业务系统与大数据平台内部的数据校验、大数据平台内部的数据校验逻辑是否正确。一方面可以在日常开发过程中验证数据的可靠性,另一方面也可以帮助运维人员更快更精准地