机器学习模型管理系统后端的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:dajiangdq68
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习算法广泛应用于数据挖掘、计算机视觉、语音识别等各个方面。由于计算机硬件配置的差异性、机器学习模型训练过程的时效性、机器学习算法框架的差异性和模型环境配置的复杂性等问题,传统的机器学习模型普遍存在开发效率低下、硬件资源利用不充分等问题。同时,由于企业对模型训练的输入数据、产生的结果数据等具有较高安全性需求,数据传输和算法开发过程只能在内部系统中进行。因此,企业内部算法工程师迫切需要合适的内部机器学习模型管理系统,用于支持快速进行机器学习模型的训练,快速判断模型效果,并应用到生产之上。这对企业提高算法工程师开发效率,节省企业资源具有重要意义。本文阐述了项目背景,概述了国内外对机器学习模型管理系统的相关研究与应用现状,综述了包括Spring Boot、Docker、Kubernetes、Ceph、机器学习框架等本文涉及的相关技术和产品。论文详细分析了系统需求,提炼了用户认证、命名空间管理、项目管理、数据存储、模型管理、模型预测等功能。在此基础上,设计了系统架构、功能组成,并且以私有云为基础,进行了系统部署设计,详细分析了ER关系,设计了系统数据库。论文通过类图、时序图等方法对各个功能模块进行了详细的设计,并给出了具体实现细节。本文所述系统已经投入实际应用,分别在开发环境和生产环境进行部署,系统运行状态良好。企业内部算法工程师使用该系统进行算法开发简化了开发流程,提高了开发效率。
其他文献
作为商业银行中最重要的业务板块,公司业务(对公业务)承载了支持企业和实体经济发展的重任,是绝大部分商业银行收入的主要来源。近年来,伴随着利率市场化、监管驱严、金融脱媒以及互联网金融的崛起,商业银行之间的白热化、同质化的竞争越发激烈,以产品为中心的经营思路和理念早已不合时宜,商业银行的传统业务发展面临着转型压力以及巨大的挑战,尤其是公司业务。业务转型的实质是商业银行在面对复杂多变的内外部环境时而做出
应用性能管理监控平台是京东面向内部的智能运维平台,它负责对微服务架构下所有的应用进行监控和分析,从而保障系统的正常运行,使用户能够得到高质量的服务,使研发人员能随时随地通过平台看到业务、性能、组件、基础服务等多维度的监控信息,以便快速了解相关业务的运行状况并及时作出调整。京东作为电商平台,面对大促期间的流量高峰,对部分核心业务的扩容以及非核心应用的容量降级是应用性能管理平台所具备的重要功能,所以对
永续债即依照法定程序发行、附赎回(续期)选择权或无明确到期日的债券,兼具股性和债性,是种新型的混合资本工具。自2013年我国第一只永续债(武汉地铁可续期企业债)面世,直到2015年永续债发行数量、规模才开始快速增长,永续债品种也逐渐增多。与此同时,2015年供给侧结构性改革推行以来,“去杠杆”是国家的重要调控任务之一,体现在能够有效控制宏观杠杆,而微观企业去杠杆正是调控宏观杠杆的重要途径之一。在这
2018年以来,我国经济增速放缓,金融市场强调严监管,两者结合下导致债券市场的信用风险集中释放,全年债券违约规模达到1335亿元,创下历史新高,违约事件向着常态化态势发展。按行业来分,违约规模前三者分别是商贸、采掘和综合,结合行业特性,本文确定了采掘(即煤炭)行业,就其信用评级质量进行检验研究。本文首先从个体的角度检验评级质量的好坏,选取的主体为市场上首例AA+债券违约主体,也是煤炭行业违约规模最
世界语言普遍存在着羡余性特征,羡余性是语言的三大属性之一。羡余性特征是指在语言中某些词汇或者句法成分只作为语言形式存在,不表达语义。羡余现象在汉语的语音、词汇、语法等方面都存在。汉语羡余否定现象是指含有“不、没、别”等否定成分,但并不表示否定的语言现象。汉语羡余否定语法点是泰国学生学习和使用的难点。随着汉语教育事业在泰国的蓬勃发展,泰国学生的汉语学习需求逐渐延伸到更高层面。汉语羡余否定知识的学习对
随着我国网络和信息技术基础设施建设的进一步完善,移动4G网络在近年来迅速普及。以支付宝、财付通为代表的第三方支付平台快速发展。第三方支付逐渐融入到人们的日常生活中。这其中以零售支付领域的发展和变化尤为明显。但近些年第三方支付的迅速发展对银行业产生实质的影响,让银行业面临新的挑战与冲击。研究表明,第三方支付平台与商业银行都具有双边市场特征。根据双边市场理论,平台间存在一定程度的互联互通可以提高社会的
近几年来,以深度神经网络为代表的深度学习算法取得了极大的成功。然而,深度学习仍存在训练样本大、计算资源要求高以及超参数调优难等问题。为此,研究人员开始探索以深度森林为代表的深度集成学习算法。然而,现有的深度森林训练算法是单机串行的,训练效率低且训练时间开销大。另一方面,现有的深度集成学习算法模型需要依赖人工构建,建模过程技术门槛较高,且费时费力。为此,需要研究自动化深度集成学习建模与结构搜索问题。
研究目的:肺癌是我国最常见的恶性肿瘤之一,其发病率及死亡率均居恶性肿瘤首位。肺癌高死亡率的原因之一在于早期肺癌常无明显临床症状而仅有影像学表现,绝大多数肺癌患者在疾病晚期才得以被诊断。近年来,低剂量计算机断层扫描(Low Dose Computed Tomography,LDCT)的广泛使用使得早期肺癌的检出率明显提高,但同时也大大提高了肺内结节的检出率,其中一类特定的肺内结节表现为孤立性肺结节(
自2005年我国股权分置改革以来,股票市场的流动性剧增,上市公司大股东减持行为频发,监管部门不断出台各项规章制度来规范大股东的减持行为。虽然2017年证监会出台的被称为史上最严减持规定对大股东减持情况有所遏制,但2018年、2019年大股东的减持热度仍不减。与此同时,资本市场上还涌现出各种大股东减持模式,有些是通过添加而组成新的减持模式,有些则是“另辟蹊径”。对于这样的情况不禁引发思考,大股东的减
近年来,随着云计算技术的迅猛发展,出现了一个新兴的商业领域,在线会计系统,即“云会计”。云会计的本质是将虚拟信息系统用在会计方面,即在互联网上构建云平台,为公司或个人提供会计核算、会计管理等会计相关的服务。相比于传统会计软件,云会计能为企业节约IT资源和相关人力投入,并提供成熟、可迭代的会计解决方案。这对于信息化发展中的企业,尤其是中小企业来说非常重要。中小企业的传统会计流程是以票据为中心的。本文