Sophon LLMOps
星环大模型运营平台
语料管理
/
引导式大模型微调
/
0代码应用开发
/
大模型应用链编排
/
企业级管理
产品简介
星环大模型运营平台(Sophon LLMOps)是星环科技推出的企业级大模型全生命周期运营管理平台,旨在赋能企业用户能敏捷、高效、有闭环地将大模型落地到生产和业务中去。Sophon LLMOps打通并优化了语料接入和开发、提示工程、大模型训练、知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控,以及业务效果对齐提升的全链路流程。
Sophon LLMOps能提供什么?
语料数据处理和知识入库
Sophon LLMOps 提供了大批量语料接入、引导式语料清洗、多团队协同语料标注、语料评测与运营等语料全生命周期管理能力;在知识入库阶段,平台支持多种文件格式解析和向量化,支持专业化的解析、分片和检索输出的策略配置:支持用户通过应用开发模块编排的解析流程发布成解析服务,实现更灵活的文档内容抽取。除自建知识库之外,平台还可支持对接企业内部现有知识库。
模型训练和管理
Sophon LLMOps支持统一纳管多模态(大)模型以及第三方模型服务,统一接口规范,实现不同模态模型的精细化版本管理。在模型训练方面,平台提供界面引导式以及代码编程两种大模型微调训练方式。基于平台的模型评估功能,可自选预置的通用评估规则或自定义评估模板来针对已上架的模型进行各维度的指标评估。特别的,Sophon LLMOps仍兼容传统机器学习和深度学习模型的训练和管理的全生命周期能力。
应用开发和管理
面向不同用户类型和使用场景,Sophon LLMOps分别提供了四种应用构建方式:类GPTs的0代码构建,低代码算子编排,基于在线编程以及自定义容器构建大模型应用。比如面向运营人员,平台支持用户通过0代码的方式快速构建RAG和Agent应用。用户可一键发布已构建完成的应用快速体验,一键分享和对外提供API调用。
服务部署和监控运维
Sophon LLMOps 支持配置弹性伸缩策略,动态扩缩容实现负载均衡。同时还支持多版本流量分配策略,具备灰度发布,A/B测试能力。在监控部署阶段,平台支持实时监控模型服务的运行状态,控制模型生产环境风险,如集群资源利用率、吞吐量、响应时间和访问记录等。
企业级管理能力
面向企业组织,Sophon LLMOps提供了包括成员权限控制、资源监控、计费管理以及审批和审计,安全管控等一系列企业级能力。空间内的成员管理和权限管控保证了用户间的数据隔离和数据安全,支持用户对模型部署、应用启停和任务操作等平台的核心流程进行有效的审计和审批管理,增强了操作的可追溯性和系统的安全性。
为什么选择Sophon LLMOps?
一站式AI开发
Sophon LLMOps不仅提供大模型和应用开发的工具能力,还同样兼容ML/DL模型开发落地,同时可以在大模型的应用开发过程中灵活的嵌入“小模型”的能力,即一套平台可支撑全AI场景应用的开发。
丰富的应用开发方式
Sophon LLMOps面向不同的用户类型和使用的场景,提供四种应用开发方式:面向业务侧用户,提供类GPTs的方式通过简单配置知识库及提示词即可创建。面向有一定开发能力用户,提供托拉拽方式编排自定义应用链和在线编程的方式搭建应用。还支持用户指定镜像拉起服务,对外提供统一访问接口。
支持构建高质量知识库
Sophon LLMOps不仅预置了标准的语料解析入库策略,针对实际落地场景当中复杂多样的非结构化数据类型,平台提供用户通过自定义应用链构建更加灵活、精细的语料解析策略并发布为处理服务。
灵活开放的平台使用
在模型层面,Sophon LLMOps支持标准规范开源(大)模型一键接入,以及纳管第三方模型服务,并进行流量控制;支持第三方的知识库以标准接口的形式接入到平台;对平台管控的模型、应用和知识库都提供统一的对接API和服务监控管理模块。
全方位的安全防护
Sophon LLMOps建设统一的安全中心,来对用户输入和模型、应用的输出进行全方位的安全防护,如通过提示词注入和敏感词过滤来实现对用户的输出进行判断,避免诱导模型输出非法的主题内容,可有效保护用户隐私和提升模型/应用的输出的公平性和安全性。
应用案例
客户需求
○ 将智能问答嵌入到研发、生产、销售等各环节中,在自然语言交互下提供丰富且必要的辅助信息,可缩短商业分析执行路径和时间、管理潜在的协同商机,并且提高生产效率和经济效益。
解决方案
○ 通过跨领域知识的学习和调优,大语言模型能更好地理解不同领域的专业术语、缩写、常见词汇和语法,承担统一的语义理解功能,解决业务领域性问题。借助星环 Sophon LLMOps 构建大模型,可以轻松完成数据采集、知识沉淀、模型迭代提升的完整闭环。
○ 结合大语言模型和向量数据库,构建跨业务域领域的智能问答系统。星环自研的向量数据库Hippo,将跨域知识统一存储和管理,解决知识融合性问题。大模型与向量数据库松耦合的结构,使得知识可以在向量数据库实时更新,解决信息时效性问题。
项目成果
通过Sophon LLMOps实现了统一的问答系统架构,企业内部不同业务问答系统的开发投入得到了大大降低,同时后期运维成本也进一步减少。
通过大模型的部署和应用,为用户提供了统一的问答入口,将企业知识获取的过程变得更加简单高效,获取的内容变得精简可追溯,知识的更新变得更加即时。
相关产品推荐
星环科技,构建明日数据世界