联系我们
售前咨询
售后咨询
400-7676-098
更多联系方式 >
Sophon MLOps
AI能力运营平台
统一纳管
/
统一运维
/
统一监控
/
统一应用
产品简介
Sophon MLOps是基于云原生架构构建的企业级AI能力运营平台,通过统一纳管、统一运维、统一应用、统一监控,在机器学习模型全生命周期中赋予企业客户易用、高效且安全可靠的AI能力运营服务,协助客户规模化管理日益增长的机器学习模型,提升模型使用效率,降低模型管理成本,控制模型生产环境风险。
Sophon MLOps能提供什么?
服务管理
涵盖监控、测试、审计和评估等模型服务的全方位管理——支持实时监控模型服务的运行状态;支持快速测试并验证服务可用性;支持独立查看各服务的全量监控指标;支持查看模型服务的性能评估报告,为模型迭代提供参考依据。
服务推理
提供可视化操作界面,流程化快速构建支持XGBoost、MLflflow、TensorFlow、PyTorch、Scikit-learn、Spark-MLlib等多种算法框架的模型服务推理图,并支持自定义配置包含多模型的复杂推理逻辑,大幅节省了模型配置成本。
服务发布
零代码部署模型服务,并支持自定义配置弹性伸缩策略、多版本流量分配策略,以及推理图各节点CPU、GPU、内存资源的按需分配,轻松实现模型服务多实例负载均衡、灰度发布和A/B测试。
模型管理
帮助用户统一纳管多源异构的模型文件,通过规范化的集成管理,实现统一部署大规模机器学习模型,大幅降低模型管理成本。
服务镜像
无缝衔接Sophon Base中的模型镜像,支持使用MLOps快速部署Base中训练好的机器学习模型;同时支持接入其他训练平台打包生成的模型容器镜像,并在MLOps中得到统一纳管、运维和监控。
为什么选择Sophon MLOps?
规模化的集成管理
统一纳管多源异构的模型文件,通过规范化集成管理,实现统一部署大规模机器学习模型,从而帮助用户大幅降低模型管理成本。
高效模型推理服务
使用图形交互的方式,帮助用户流程化快速构建服务推理图,并支持自定义配置包含多模型的复杂推理逻辑,及可视化快速部署模型应用,简化了模型配置和部署的复杂流程。
多维度监控及评估
实时监控模型服务的运行状态,帮助用户控制模型生产环境风险;通过多维度评估模型预测效果,为用户后续迭代优化模型提供重要参考。
隐私安全高度保障
提供多种用户权限控制,满足不同团队或用户角色对集群环境、资源及系统功能的限制需求;同时保障用户间私密数据的信息隔离;支持对模型部署环节的开启审批流程,控制服务资源利用。
应用案例
  • 银行各部门模型统一管理
  • 信贷风控模型迭代与运维
  • 传统制造业复杂推理图搭建
客户需求
○ 为满足监管合规要求,同时提升总分行模型的管理效率,需要对模型全生命周期进行统一管理
○ 行内积累了大量来自不同算法框架的AI模型,但大都分散在多个不同的业务部门
○ 各部门的模型部署缺乏统一的流程,且需要配置大量的参数,导致模型部署周期过长、配置成本增高且模型研发及应用敏捷性降低
解决方案
○ 使用Sophon MLOps搭建全行统一的AI模型管理平台,快速接入行内积累的多源异构模型
○ 利用MLOps搭建模型应用标准化流程,统一构建模型推理逻辑,并实现模型的快速部署
○ 在MLOps中持续监控所有已上线的模型服务,实现统一运维,并评估模型预测性能,确保模型预测的准确性且模型运行的稳定性
项目成果
成功解决了异构模型的管理问题,集成了全行来自多种算法框架的数百个机器学习模型
模型应用的平均部署时间及模型配置成本均大幅降低;
支持上百个模型预测服务同时在线,且单条数据实现毫秒级响应
打通了模型全生命周期流程,使模型的平均迭代周期显著缩短
相关产品推荐

星环科技,构建明日数据世界