论文部分内容阅读
近年来,国内外互联网和移动设备快速发展,基于Android和IOS操作系统的移动应用日益增多,这些应用覆盖了生活的每一面,从水费电费缴纳到学习娱乐听音乐。互联网企业以及非传统互联网企业都在推出与自己业务相应的移动应用来拉去用户,赚取流量。在移动应用领域,移动应用开发商除了要注意移动应用的自身属性外,还需要注意用户产生的数据及用户行为日志带来的价值。这些日志不仅数量大而且包含的信息足,如何从这些大量的数据里统计和查询出有效直观的数据,这便成了日志统计中的关键问题。论文主要介绍了音乐类移动应用的日志收集分析系统项目背景、项目意义、相关技术的选型,还有系统的需求分析、概要设计、详细设计与实现以及测试等相关内容。该论文阐述的系统里采用了大量分布式框架来实现部分功能,系统主要包含日志收集、日志分析、预警系统和Spring Boot后台等模块。其中日志收集包括日志采集和日志传输,日志采集又包括历史日志的采集和实时日志的采集;日志分析除了处理实时流日志之外还实现每日推荐的功能。论文设计的日志采集模块使用Flume框架实现,日志传输使用了 Kafka消息队列;日志分析采用Spark计算引擎,分析后部分结果存储在HBase中;最后由后台系统处理业务请求,返回数据给前端;前端是Html静态页面,包括登录修改信息、崩溃日志处理、统计日志查看等功能,本文将对音乐类移动应用的日志收集分析系统的各个模块进行设计与实现。本人主要负责日志收集模块、日志分析模块、预警模块、系统后台并参与了部分前端模块的开发。本论文所设计系统的技术相关来源于本人实习的项目,从实际业务需求出发,进行研究并设计实现。该系统的能够满足移动应用运营商对日志数据的把控和观察,同时也可以方便开发人员对部分日志数据的查看,辅助开发人员开发应用。同时也能够记录一些数据方便以后活动的所需,系统还有着一定健壮性和可扩展性,能够应付多变的业务需求。