【摘 要】
：
金融科技时代,数据已成为资产,成为企业核心竞争力。以大数据为代表的技术,已经正在影响着金融领域的发展。信贷作为金融领域的一个重要分支,拥有着繁杂的业务流程,每日要处理的数据量高达PB级,而且在企业中实际生产中数据较为分散,没有形成统一的数据处理流程规范。本文所进行的基于Spark的金融大数据处理系统的设计与实现的工作,针对企业痛点提出了有效的解决方案,帮助企业最大化的挖掘利用数据价值。本文的主要工
论文部分内容阅读
金融科技时代,数据已成为资产,成为企业核心竞争力。以大数据为代表的技术,已经正在影响着金融领域的发展。信贷作为金融领域的一个重要分支,拥有着繁杂的业务流程,每日要处理的数据量高达PB级,而且在企业中实际生产中数据较为分散,没有形成统一的数据处理流程规范。本文所进行的基于Spark的金融大数据处理系统的设计与实现的工作,针对企业痛点提出了有效的解决方案,帮助企业最大化的挖掘利用数据价值。本文的主要工作如下:（1）通过对比分析传统数据处理方法和目前主流大数据处理框架的优缺点,提出了一套完整的数据处理流程的方案。使用Flume工具实现多源数据采集,采集之后使用Hadoop分布式文件系统（Hadoop Distributed File System,简称 HDFS）进行存储,然后使用Spark SQL对Hive数据进行离线计算,需要实时分析的数据传到Kafka中,由Spark Streaming拉取数据进行实时分析计算,结果存入HBase和MySQL,并提供可视化的报表分析展示界面。（2）针对上述方案设计并实现了基于Spark的金融大数据处理系统,包括:数据采集模块、数据存储模块、数据处理模块、数据展示模块和系统监控模块。数据采集模块支持多种数据源和多种数据类型的数据采集。数据存储模块实现了具备海量数据的存储能力,并且能够根据业务需要回溯历史数据。数据处理模块具有统一的离线计算和实时计算能力,同时对系统的性能进行了一定程度的优化。数据展示模块实现了指标看板和自助SQL查询功能。系统监控模块实现了对系统的实时监控,保证了系统的稳定性。
其他文献
亚里士多德曾经在他的经典“政治”中说过,人们“聚在城市里生活,留居在城市里过上更好的生活”。2008年,IBM引入了“智慧城市”的概念。在持续的社会发展中,城市不断变化,随着全球互联网产品和新一代信息技术呈现出快速发展趋势,智慧社区已成主流发展大势,不断付诸实践。作为构筑智慧城市最关键的部分,智慧社区是智慧城市的延续,它通过将居民需求与智能信息系统有效集成,促使民众的日常生活与服务朝着网络智能化的
当前,数字技术蓬勃发展,渗透到各个治理领域。各级政府都积极运用各种数字技术来进行数字化转型,公共卫生危机治理领域也不例外,尤其是疫情防控。同过去中国经历的多起疫情相比,数字技术在疫情防控中的作用突出,为实现科学精准防疫提供了强大的技术支撑。如何发挥技术治理的效果,更好地提升政府的治理能力和治理效率是学者们关注的重要问题。但是数字技术并不一定带来效率提升、信息共享和结构转变。数字技术嵌入政府组织中,
随着我国科技创新越来越受到重视,医改政策不断推进,疫情和其他突发公共卫生事件的发生,医药企业的生存环境发生了变化,行业加快了洗牌与格局重塑。因此,为了提高竞争力,寻求创新,企业需要布局数字转型。近年来,我国政府高度重视医药卫生体制的改革与发展。数字化已成为推动发展我国医药行业、医疗卫生行业以及健康卫生服务业发展的重要基石,有关政府部门也陆续出台了许多引导、扶持医药产业发展的政策文件,引导企业进行数
党的十九届五中全会明确提出“十四五”时期金融创新的重要性,它是实体经济发展的驱动力。互联网金融打破时空界限,为破解企业融资难题提供了可能的解决方案。互联网金融依托互联网平台,采用信息技术降低信息不对称和服务成本,不但缓解了企业的融资约束,而且在我国经济高质量发展和去杠杆背景下可以避免“一刀切”,帮助企业优化杠杆水平。本文深入研究互联网金融对企业杠杆率的影响效应及其影响机制,可以帮助企业优化财务杠杆
我们正身处物联网时代,不断普及的物联网技术赋予了智能家电新的生命。空气净化器作为一种新兴家电,近年来因人们开始越来越关注空气健康而被人们所认知和选择,但现有的空气净化器缺乏创新,已落后于时代要求。因此,对空气净化器市场、用户等作一番全面系统的调查以及确立空气净化器设计的设计发展方向使其快速融入到物联网智能家居系统中旧显得尤为重要。论文首先通过查阅大量的文献,分别对物联网在设计、技术领域的研究和智能
党的二十大报告提出要坚持创新在现代化建设全局中的核心地位。当前,我国经济已进入高质量发展阶段,技术创新无疑是经济发展的核心推动力,要发挥好企业作为技术创新的主体地位,就必须给予持续的资金支持。企业在融资过程中普遍存在信息不对称问题,导致其面临融资约束。尤其对中小企业而言,由于可抵押资产少、规模较小等客观原因,在传统金融体制下更易陷入融资困境,这就制约了其技术创新活动的开展。金融科技通过大数据、云计
面对新时期“七有”新诉求、“五性”新标准、规划新要求,北京城市商业街区如何建设便利、连通、安全、美观、愉悦的商街步行环境,提升街区可步行性,成为人们关注的重点问题。随着城市大数据的不断扩充、信息处理技术的不断发展,新数据、新技术成为城市规划提供了新的发展方式,持续支持城市规划从业者在宏观、中观、微观层面,全面细致地了解城市生活的各个方面,也为城市商业街区步行空间的评价研究提供了新思路。基于此背景,
随着科学技术的快速发展,控制对象日益复杂,处理数据日渐庞大,控制算法越来越复杂,由于传统控制系统的软硬件配置较差,没有新兴技术的加持,对复杂系统的分析、控制以及对数据的处理能力相对较弱,不能达到预期的控制效果。而如今云计算、大数据、物联网、云平台等新兴技术不断涌现并且日渐成熟,对复杂算法处理和大型系统的控制有了更加可靠稳定的技术工具,云控制系统随之应运而生。为了深入研究云控制系统,加快云控制系统落
征信大数据具有复杂、高维等特点,现实世界中的征信实体之间存在多种复杂关系以及多种概念。知识图谱能够合理表示真实世界中的实体,以及他们之间的关联关系,准确展示概念间的语义关系。构建征信知识图谱可以提炼征信大数据中隐含的各种知识和知识之间的关联,挖掘更多潜在的信息资源。目前存在于征信领域的知识图谱普遍具有专业化程度不高、数据层次化不明确、跨域联合分析难,知识价值挖掘不充分等问题和挑战。征信知识图谱主要
数字时代是一个数据爆炸的时代,在充分数字化的社会中,数据以指数级的增长速度快速汇拢,成为继土地、劳动力、资本、技术之外的第五大生产要素。《数字中国建设整体布局规划》中指出,要释放商业数据价值潜能,加快建立数据产权制度,开展数据资产计价研究,建立数据要素按价值贡献参与分配机制,数据价值的开放利用成为数字中国建设和数字经济发展的基础。数据价值的实现离不开快速、便捷、安全的数据流转,而实现数据流转最重要