AI模型训练和开放服务平台的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:biantaitai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
AI模型训练和开放服务平台是面向企业的、易用的一站式AI应用开发工具,通过简化AI应用开发流程,屏蔽技术实现细节,提供数据管理、模型管理和服务管理等功能,帮助企业可以快速、高效、低成本地进行AI产品的开发与应用。但是由于AI应用开发存在着训练数据来源及格式复杂、训练依赖于多类型资源、开发流程繁琐等特性,现今公开的AI解决方案和相关平台仍然存在模型训练数据管理不规范、多类型训练资源调度不公平和没有形成AI应用开发的完整闭环等问题与挑战:1)当前模型训练数据管理存在数据格式混乱、不同数据整合利用繁琐和数据重复利用率低等问题,影响了数据质量和训练效率;2)目前多类型训练资源调度存在分配不公平、资源浪费和作业饥饿等问题,降低了任务执行效率和资源利用率;3)数据侧和服务侧的功能仍存在不足,缺乏数据标注和服务监控等功能,没有形成AI应用开发的完整闭环,降低了开发效率。针对以上问题与挑战,本文重点围绕模型训练数据管理、多种异构资源公平调度策略和AI应用开发解决方案进行研究与分析,完成了 AI模型训练和开放服务平台的研究与实现,主要研究内容包括以下三个部分:1)提出并实现了一种基于JSON的模型训练数据管理方案,用于统一不同模型训练数据格式规范,整合不同的模型训练数据,进行数据的全生命周期管理和版本管理,提高了数据利用率和模型训练效率;2)提出并实现了一种分配均衡的多资源调度策略,该策略整合了所有资源,分别均衡了主资源和非主资源的分配,保证了资源的公平分配和充分利用,提高了任务执行效率和资源利用率;3)研究并实现了 AI模型训练和开放服务平台,该平台集数据上传与标注、模型训练、模型评估、模型测试和服务发布于一体,形成了 AI应用开发的完整闭环,提高了 AI应用开发效率。基于上述研究内容,本文设计并实现了一站式的端到端的AI模型训练和开放服务平台,覆盖全工作流程,帮助企业加速智能化转型。并将其应用于重点研发课题“科技咨询数据资源体系研究与资源建设”中,对平台的功能完整性进行了验证,确保了平台的有效性、可用性和可靠性。
其他文献
网络攻击效果评估技术作为一种主动防御技术,通过模拟渗透实验的方式,通过对收集到的指标值进行有效计算,从而对系统的安全性或攻击的有效性得到一个全面准确的评价。网络攻击效果评估技术一方面可用于评估系统的安全性,并针对评估结果进行系统修复或防御决策的制定;另一方面可用于网络攻击工具能力的评估,在投入实际使用前,对工具的信息对抗能力作出评估,从而指导其不断改进。当前网络攻击效果评估系统多使用单体架构进行设
近年来,城市道路景观提升类项目不断涌现,该类项目通常是将某个区域或某条道路作为整体统筹规划实施,具有涉及空间范围广、专业繁杂、接口多、技术集约化程度高、工期紧、施工风险高等特点.EPC工程总承包管理模式在应对城市精细化管理能力提升,持续改善空间资源环境和基础设施,提升城市的适应能力和韧性发展能力方面显示出了独特的优势.基于此,文章对EPC管理模式在城市道路景观提升工程中的应用展开了研究,并提出了精细化管控施工措施.
文章结合洛溪大桥旧桥加固工程案例,简要介绍了该工程的实际情况,并结合案例桥梁实际病害问题进行加固方案的设计,然后针对碳纤维板加固技术在该旧桥加固工程中的实际应用要点和相应技术措施展开详细分析,最后总结并提出了碳纤维板加固技术的施工质量控制要点,旨在为相似工程提供参考.