在当今社会,由于计算机科学技术和信息技术的不断发展,海量的数据随之涌现,我们已经进入了大数据的时代。随着数据与实体经济的融合变得越来越紧密,尤其是在金融经济、电子商务等领域中,数据的战略性地位也凸显得越来越重要。如何去处理企业中这些宝贵的数据资源,成为了许多企业运营过程中需要认真思考的重要问题。目前在金融经济领域的许多企业中,数据中心一般是按天、周或者月作为数据的更新周期。而随着移动互联网的迅猛发展,用户数量的持续激增,致使这些企业不得不面对海量实时数据的有效处理问题,公司对于数据实时性的要求变得更高,传统的按照周期更新数据的方式将会变得不再适用。本人在某基金公司数据中心实习期间,公司也面临着这般问题,部门主管倾向于实现一个变更信息处理系统,来提高数据中心更新数据的实时性。针对上述情况,本文首先对目前各种解决数据实时处理问题的方式做了整理和分析,发现消息中间件是解决这类问题的一种有效途径。然后通过对多种消息中间件在国内外的实际应用与研究情况进行了调研、整理和分析,选择了当前主流的分布式消息系统Kafka作为研究对象,并在此基础上设计和开发了一个基金变更信息处理系统作为解决方案。该系统采用Kafka消息系统作为联系上游系统的消息中间件,为实时数据的处理提供了一个缓冲地带,使得数据的流入速度和处理速度相匹配。在数据处理的过程中,采用多线程并发处理的方式,以增强系统对数据的处理能力,提高工作效率。系统解决了在对Kafka进行多线程消费时存在的并发问题,可以保证对于上游流入的数据做到only once级别的处理(每条数据处理且仅处理一次)。对于可能出现的异常数据,系统提供了失败重试机制和对异常数据的容错能力。基金变更信息处理系统实现了对公司上游系统产生的客户、基金、交易等变更信息的实时处理,有效降低了这些数据从产生到落地之间的时延,提高了数据的实时性。