论文部分内容阅读
随着企业信息化、智能化建设的不断加快,越来越多的应用系统在企业中广泛应用,如何以最小的切入方式来评估各类应用系统的运行情况、安全状况成为各企业关注的重要问题。在使用这些应用系统的同时,一些访问信息会被记录下来。通过分析应用产生的行为数据可以挖掘出用户的访问喜好、应用系统潜在的安全问题,进而为各类应用的评估提供重要依据。然而随着各类应用产生的数据量剧增,仅依靠单机环境对海量数据进行分析与挖掘已经无法满足企业业务的需求。在此背景下,本文将应用行为分析与大数据处理技术相结合,研究应用行为分析的相关方法理论,并基于Spark计算框架设计了应用数据的预处理和应用行为分析算法,该方法提高了海量数据处理的效率;同时基于LSTM对应用的使用量进行了预测。此外论文还研究了海量应用数据的收集方法,面向不同类型的数据设计并实现了数据收集系统。在数据储存方面,基于HDFS实现了日志文件的储存管理,基于HBase设计了面向海量应用行为数据存储模型;在各类大数据框架的集成方面,设计了大数据分析引擎完成了对各类框架的调度管理。在系统的架构上采用了基于Spring Cloud微服务的架构方式,将不同技术栈的业务系统独立设计为单个服务,以此来保证业务系统服务的高可靠性和稳定性。基于上述研究内容和成果,本文设计并实现了应用行为分析的大数据平台。该平台能够对海量应用数据进行对多维度的行为指标统计、应用安全检测以及应用访问量的预测,同时系统还提供了可交互数据分析功能,让用户自定义数据预处理和分析流程来实现对应用数据的挖掘与分析。经实验验证系统具有较高的可扩展性和数据分析效率,解决了企业处理海量数据的滞后性难题,为企业管理各类应用提供了决策依据。