CN - 简体中文
联 系 我 们
售前咨询
产品、解决方案咨询
售后咨询
微信关注：星环科技服务号
更多联系方式 >

TxData-LM

星环大模型一体机TxData-LM

LLMOps for DeepSeek大模型一体机版本
产品简介
星环大模型一体机TxData-LM（LLMops for DeepSeek大模型一体机版本），深度融合软硬件技术，为企业提供从模型开发到应用落地的全生命周期解决方案，助力AI技术快速融入生产与业务场景。
核心组件
Sophon LLMOps for DeepSeek
星环大模型运营平台 Sophon LLMOps 是一款企业级大模型全生命周期运营管理平台，旨在赋能企业用户能 敏捷、高效、有闭环地将大模型落地到生产和业务中去。Sophon LLMOps 打通并优化了语料接入和开发、 提示工程、大模型训练、知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控，以及业 务效果持续提升等全链路流程。Sophon LLMOps 支持满血版 DeepSeek R1 671B 参数，充分释放 DeepSeek R1 671B 在自然语言处理能力、训练与推理的高效率与低成本、以及高精度的 AI 推理方面的突出优势。
TxData-LM
硬件平台，支持大模型训练的极高算力负载，通过软硬件工程优化，为客户提供 GPU 加速的各类大模型算法 训练平台。还可以根据客户的需求和资金预算，定制各种套餐，满足客户的个性化需求。
高速 InfiniBand 400G 交换机
400G IB 交换机，在 1U 标准机箱设计中，每个端口可提供前所未有的 64 个 NDR 400Gb/s InfiniBand 端口。 单个交换机可承载 51.2 Tb/s 的聚合双向吞吐量，并具有超过 665 亿个数据包/秒（BPPS）的包转发率。 400G IB 交换机支持最新的 NDR 技术，带来高速、极低延迟和可扩展的解决方案。
主要特性
处理器
支持 64 核心以上 2.0GHz 以上主频的 Intel Xeon 处理器 或AMD EPYC 处理器。
数据存储
至少 3块3.84T企业级 2.5 寸 NVMe U.2 PCIe 4.0 SSD，用于存储模 型数据和训练数据，存储容量超过 10TB。
内存
支持1TB 以上DDR4或 DDR5 RDIMM ECC 内存。
算力网络
每个节点支持多达8 块 400G 单口InfiniBand 或以太网网卡，用于组建算力通信网络，单口网络带宽达400Gbps交换机进行高速互联，构建高速参数网络。
AI 算力
每个节点8块高性能 GPU，单卡FP16算力从147 TFLops到989 TFLops FP8算力从 296TFLops 到 1979 TFLops；每个节点FP16算力从 1176 TFLops 到 7912 TFLops，FP8 算力从 2368 TFLops 到 15832 TFLops。
体系架构
硬件层
配置 2 颗高性能多核处理器，最多 8 块高性能显卡通过专用高速芯片互联，提供 600GB/s 以上的带宽，NVMe U.2 PCIe 4.0 SSD，顺序读速度达到 7000MB/s，顺序写速度达到 4000MB/s, 400G InfiniBand 网卡实现节点之间高速互联， 10G/25G 网卡实现管理业务通信。
底层协议及软件层
使用 RDMA 协议实现多节点 GPU 之间低延迟、高带宽的通信，使用DOCKER 实现云原生服务，采用 CUDA、CUDNN 作为 AI 框架的底层软件库，采用 NCCL 实现高效的 GPU 之间 和节点之间高速通信。
AI 框架及工具层
接入满血版 DeepSeek R1 671B 模型，提供语料接入和开发、提示工程、大模型训练、 知识抽取和融合、模型管理、应用和智能体构建、应用部署、运维和监控等功能。
应用功能层
包括模型服务、知识服务、应用服务等。
应用场景
自然语言处理
DeepSeek R1 671B 能够理解和生成自然语言文本，适用于机器翻译、文本摘要、情感分析问答系统等场景。
数据分析
该模型可以处理和分析大量数据，帮助企业从数据中提取有价值的信息，用于市场分析、趋势预测等。
智能推荐
DeepSeek R1 671B 可以根据用户的历史行为和偏好，提供个性化的内容推荐，如商品推荐、新闻推荐等。
自动化客服
在客户服务领域，DeepSeek R1 671B 可以实现自动化响应，提高服务效率，降低人力成本。
教育和培训
模型可以用于在线教育平台，提供个性化的学习体验和智能辅导。
游戏和娱乐
在游戏行业，DeepSeek R1 671B 可以用于创建更智能的非玩家角色(NPC)，提供更丰富的互动体验。
  • 自然语言处理
  • 数据分析
  • 智能推荐
  • 自动化客服
  • 教育和培训
  • 游戏和娱乐
体系架构图
拓扑架构
大模型一体机的拓扑架构分为管理网络和算力网络。管理网络是由 10G/25G 的一台或两台万兆交换机构成。算力网络是由 400G 的一台或两台 InfiniBand 交换机构成，运行的是 RDMA 协议，能够充分的实现高速、低延迟的协议优势。大模型一体机 的主机部分是采用高速互联芯片互联的八张高端的 GPU 卡构成，64G 以上的高速 PCIE 通信的带宽，单卡显存容量从 80GB 到 141GB， 显存带宽从 2TB/s 到 4.8TB/s。
套餐详情
软件套餐三选一
LLMOps Express 版
提供开箱即用的满血版 DeepSeek R1模型，支持基于DeepSeek R1的模型推理。
LLMOps Stardard 版
提供满血版 DeepSeek 部署，支持应用构建工具以及知识库构建工具，打造专属于自己的DeepSeek 应用。
LLMOps Pro 版
提供满血版 DeepSeek 部署，除应用及知识库工具外，提供全链路的语料处理、模型训练、算力调度，企业级运维管理能力，帮助您构建企业级的 AI 护城河。
版本比较

星环科技,构建明日数据世界