CN - 简体中文
联 系 我 们
售前咨询
产品、解决方案咨询
售后咨询
微信关注：星环科技服务号
更多联系方式 >

LLMOps Appliance

星环LLMOps大模型一体机

7 种大语言模型、文生图模型，尽在LLMOps Appliance
产品简介
星环LLMOps大模型一体机（预装了开箱即用的满血版DeepSeek-R1-671B、Phi-4-14B、Gemma-3-27B、Llama-3.3-70B-Instruct、Stable-Diffusion-3.5-Large、Jina-Embeddings-v3、Jina-Reranker-v2-Base-Multilingual等7种大模型），深度融合软硬件技术，为企业提供从模型开发到应用落地的全生命周期解决方案，助力AI技术快速融入生产与业务场景。
核心组件
LLMOps软件平台
星环大模型运营平台 Sophon LLMOps 是一款企业级大模型全生命周期运营管理平台，旨在赋能企业用户能敏捷、高效、有闭环地将大模型落地到生产和业务中去。Sophon LLMOps 打通并优化了语料接入和开发、提示工程、大模型训练、知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控，以及业务效果持续提升等全链路流程。
硬件平台
大模型一体机的硬件平台支持大模型训练的极高算力负载需求。它通过软硬件工程优化，为各类 LLM 算法提供 GPU 加速训练，此外，还可以根据客户的个性化需求提供定制化套餐。
高速 InfiniB and 400G 交换机
每个 400G IB 交换机安装在 1U 标准机箱内，并提供 64 个 NDR 400Gb/s InfiniBand 端口。单个交换机可承载 51.2 TB/s 的聚合双向吞吐量和超过 665 亿个数据包/秒 (BPPS) 的数据包转发率。
主要特性
处理器
支持 64 核心以上 2.0GHz 以上主频的 Intel Xeon 处理器 或AMD EPYC 处理器。
数据存储
至少 3块3.84T企业级 2.5 寸 NVMe U.2 PCIe 4.0 SSD，用于存储模 型数据和训练数据，存储容量超过 10TB。
内存
支持1TB 以上DDR4或 DDR5 RDIMM ECC 内存。
算力网络
每个节点支持多达8 块 400G 单口InfiniBand 或以太网网卡，用于组建算力通信网络，单口网络带宽达400Gbps交换机进行高速互联，构建高速参数网络。
AI 算力
每个节点8块高性能 GPU，单卡FP16算力从147 TFLops到989 TFLops FP8算力从 296TFLops 到 1979 TFLops；每个节点FP16算力从 1176 TFLops 到 7912 TFLops，FP8 算力从 2368 TFLops 到 15832 TFLops。
体系架构
硬件层
配置 2 颗高性能多核处理器，最多 8 块高性能显卡通过专用高速芯片互联，提供 600GB/s 以上的带宽，NVMe U.2 PCIe 4.0 SSD，顺序读速度达到 7000MB/s，顺序写速度达到 4000MB/s, 400G InfiniBand 网卡实现节点之间高速互联， 10G/25G 网卡实现管理业务通信。
底层协议及软件层
使用 RDMA 协议实现多节点 GPU 之间低延迟、高带宽的通信，使用DOCKER 实现云原生服务，采用 CUDA、CUDNN 作为 AI 框架的底层软件库，采用 NCCL 实现高效的 GPU 之间 和节点之间高速通信。
AI 框架及工具层
预装满血版DeepSeek R1 671B、Phi、Gemma、Llama、Stable Diffusion、Jina等7种大模型，提供语料接入和开发、提示工程、大模型训练、知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控等功能。
应用功能层
包括模型服务、知识服务、应用服务等。
应用场景
自然语言处理
DeepSeek R1 671B 能够理解和生成自然语言文本，适用于机器翻译、文本摘要、情感分析问答系统等场景。
数据分析
该模型可以处理和分析大量数据，帮助企业从数据中提取有价值的信息，用于市场分析、趋势预测等。
智能推荐
DeepSeek R1 671B 可以根据用户的历史行为和偏好，提供个性化的内容推荐，如商品推荐、新闻推荐等。
自动化客服
在客户服务领域，DeepSeek R1 671B 可以实现自动化响应，提高服务效率，降低人力成本。
教育和培训
模型可以用于在线教育平台，提供个性化的学习体验和智能辅导。
游戏和娱乐
在游戏行业，DeepSeek R1 671B 可以用于创建更智能的非玩家角色(NPC)，提供更丰富的互动体验。
创意设计
生成创业视觉草图，如电商Banner、宣传图片、视频脚本等，加速创意落地。
  • 自然语言处理
  • 数据分析
  • 智能推荐
  • 自动化客服
  • 教育和培训
  • 游戏和娱乐
  • 创意设计
体系架构图
拓扑架构
大模型一体机的拓扑架构由管理网络和算力网络组成:- 管理网络: 由 10G/25G 的一台或两台万兆交换机构成；- 算力网络: 由一至两台400G 的 InfiniBand 交换机构成，运行RDMA 协议，能够充分实现高速、低延迟的协议优势。大模型一体机的主机部分是采用高速互联芯片互联的八张高端的 GPU 卡构成，64G 以上的高速 PCIE 通信的带宽，单卡显存容量从 80GB 到141GB， 显存带宽从 2TB/s 到 4.8TB/s。
套餐详情
GPU 模组性能参数
* 注： 针对密集矩阵运算进行了优化，是大模型应用的理想选择
软件套餐二选一
LLMOps 标准版 (针对大模型应用构建)
LLMOps 标准版专为构建 GenAI及大模型应用而设计，预装了包含DeepSeek R1 671B等 7 种最新的、开箱即用的大语言模型和文生图模型，您还可以从Hugging Face 下载更多的模型来扩展您的AI能力。LLMOps 标准版具备异构模型管理、知识库构建、AI大模型应用开发、多租户及硬件算力调度等强大工具，以帮助您快速创建及部署个性化的 GenAI应用。
LLMOps Pro版 (针对大模型的预训练和微调)
LLMOps Pro版专为有大模型预训练和微调需求的客户量身定制，提供一整套从语料处理、模型训练和算力调度的工具，以帮助客户快速训练及微调自己的大模型。LLMOps Pro版涵盖了标准版的所有功能和所有7种模型，并额外提供了企业级的AI模型运行、应用开发和维护管理套件，从而为您的企业构建坚实的AI护城河。
软件功能
LLMOPS标准版使用场景
开箱即用的GenAI及大模型推理
海量模型统一管理
基于私有语料的知识库构建
高效的AI智能体及应用开发
安全的多租户隔离及管理
硬件算力资源调度
  • 开箱即用的GenAI及大模型推理
  • 海量模型统一管理
  • 基于私有语料的知识库构建
  • 高效的AI智能体及应用开发
  • 安全的多租户隔离及管理
  • 硬件算力资源调度
LLMOPS Pro版使用场景
大模型预训练及微调
丰富的语料处理工具，赋能高质量模型落地
所有标准版具备的功能和模型
  • 大模型预训练及微调
  • 丰富的语料处理工具，赋能高质量模型落地
  • 所有标准版具备的功能和模型

星环科技,构建明日数据世界