I 中国信息通信研究院云计算与大数据研究所 人工智能关键技术和应用评测工业和信息化部重点实验室 2023年3月 人工智能研发运营体系 （MLOps）实践指南 （2023年） 版权声明 本指南版权属于 中国信息通信研究院、人工智能关键技 术和应用评测工业和信息化部重点实验室，并受法律保护。 转载、摘编或利用其它方式使用本指南文字或者观点的，应 注明 “来源： 中国信息通信研究院、 人工智能关键技术和应用 评测工业和信息化部重点实验室 ”。 违反上述声明者， 本院将 追究其相关法律责任。 前 言 随着国家新型基础设施建设发展战略（ 2020） 、国家 “十四五规划 和2035年远景目标纲要 ”等系列政策的出台，人工智能（ AI）发展迎 来新一轮红利，科技革命和产业升级处于进行时。近年来， AI工程化 的研究热度持续提升， 其目的是帮助组织在数智化转型过程中，更高 效、 大规模地利用 AI创造业务价值。 人工智能研发运营体系 （ MLOps） 作为 AI工程化重要组成部分，其核心思想是解决 AI生产过程中团 队协作难、管理乱、交付周期长等问题，最终实现高质量、高效率、 可持续的 AI生产过程。 MLOps的发展呈现出逐渐成熟的态势， 近几年国内外 MLOps落 地应用正持续快速推进，特别是在 IT、银行、电信等行业取得明显效 果。与此同时， MLOps行业应用成熟度不足，使得组织在制度规范的 建立、流程的打通、工具链的建设等诸多环节面临困难。因此本指南 旨在成为组织 落地 MLOps并赋能业务的 “口袋书 ”，围绕机器学习全 生命周期， 为模型的持续构建、 持续交付、 持续运营等过程提供参考， 推进组织的 MLOps落地进程，提高组织 AI生产质效。 本指南由中国信通院云计算与大数据研究所、 人工智能关键技术 和应用评测工业和信息化部重点实验室联合发布。 本指南站在组织如 何布局和落地 MLOps的视角，以模型的高质量、可持续交付作为核 心逻辑， 系统性梳理 MLOps概念内涵、 发展过程、 落地挑战等现状， 并基于 MLOps的理论研究和实践案例分析组织如何构建 MLOps框 架体系和关键能力，最后总结和展望其发展 趋势。 由于 AI产业的快速变革， MLOps落地应用持续深入，工具市场 不断迭代，我们对 MLOps的认识还有待继续深化，本指南可能仍存 在不足之处，欢迎大家批评指正。 目 录 一、 MLOps概述 ................................ ................................ ................................ ........ 1 （一） AI生产过程管理问题凸显 ................................ ................................ ..... 1 （二） MLOps概念与意义 ................................ ................................ ................. 2 （三） MLOps实施原则 ................................ ................................ ..................... 3 二、 MLOps发展现状与挑战 ................................ ................................ .................... 6 （一） MLOps发展过程 ................................ ................................ ..................... 6 （二） MLOps落地挑战 ................................ ................................ ................... 11 三、 MLOps框架体系 ................................ ................................ .............................. 13 （一）机器学习项目生命周期 ................................ ................................ ........ 13 （二） MLOps流程架构 ................................ ................................ ................... 14 （三） MLOps相关角色 ................................ ................................ ................... 19 四、 MLOps关键能力与技术实践 ................................ ................................ .......... 22 （一）数据处理 ................................ ................................ ................................ 22 （二）模型训练 ................................ ................................ ................................ 25 （三）构 建集成 ................................ ................................ ................................ 27 （四）模型服务 ................................ ................................ ................................ 30 （五）运营监控 ................................ ................................ ................................ 35 （六）模型重训 ................................ ................................ ................................ 38 （七）实验管理 ................................ ................................ ................................ 40 （八）流水线管理 ................................ ................................ ............................ 43 （九）特征管理 ................................ ................................ ................................ 45 （十）模型管理 ................................ ................................ ................................ 47 （十一）仓库管理 ................................ ................................ ............................ 50 （十二）模型安全 ................................ ................................ ............................ 53 五、 MLOps总结与展望 ................................ ................................ .......................... 57 （一）总结 ................................ ................................ ................................ ........ 57 （二）展望 ................................ ................................ ..........