国内大模型研发投入

国内各大互联网公司纷纷投入AI大模型的研发，涉及多种类型的大模型。以下是星环科技大模型相关产品：星环无涯金融大模型-TranswarpInfinity星环无涯金融智能投研大模型TranswarpInfinity是一款面向金融量化领域、超大规模参数量的生成式大语言模型，融合了舆情、资金、人物、空间、上下游等多模态信息，具备强大的理解和生成能力，支持股票、债券、基金、商品等市场事件的全面复盘、总结及新范式。星环科技无涯金融大模型的核心优势：一是利用海量金融专业语料和舆情工商产业链大宗卫星等多源数据进行训练，使其具备领域通用性。二是构建了可溯因的标准化因子和归因解释体系，为投资决策提供支持。三是具备高精准、强逻辑的事理分析与推断力，并能够对股票、债券、基金、商品等各类市场事件进行全面的复盘和推演。四是专门设计针对金融行业的大语言模型架构，具备准确理解和合理分析金融领域的专业能力。五是背靠大数据全生命周期技术栈，为企业提供全套解决方案，助力金融机构实现应用创新。目前，星环科技无涯金融大模型已在多家金融监管机构、证券金融客户中使用。将在金融投研、量化投资和智能推理领域为分析师、研究员和投资经理

大模型时代的到来，给软件开发行业带来了巨大的变革，企业需要一个工具链来开发大模型。星环科技作为国内领先的大数据基础软件开发商，打造数据管理平台的多模态、智能化、敏捷化和平民化产品。为帮助企业构建自己科技还推出了无涯金融大模型Infinity、大数据分析大模型SoLar“求索”，促进金融分析和大数据分析的平民化。星环科技将自主研发的领先创新技术赋能各行各业，与生态伙伴共同打造国产化大数据技术生态的大模型，星环科技推出了机器学习模型全生命周期管理的工具平台SophonLLMOps，支持从数据接入开发、提示工程、大模型微调、上架部署到应用编排和业务效果对齐的全链路流程，结合自研向量数据库Hippo和分布式图数据库StellarDB，能够赋予大模型“长期记忆”，打破通用大模型的时空限制，用户可以快速便捷地构建深谙企业自有专业领域知识的垂直行业大模型，从而让每个人都拥有个性化AI助理。同时星环，推动数字经济的可持续发展。无涯是一款面向金融量化领域、超大规模参数量的生成式大语言模型，融合了舆情、资金、人物、空间、上下游等多模态信息，具备强大的理解和生成能力，支持股票、债券、基金、商品等市场事件的

资源和时间来训练和推理，因此需要强大的硬件设备和计算能力大模型在各种领域取得了显著的突破，如自然语言处理、计算机视觉、图像生成和语音识别等。国内大模型试用大模型时代的到来，给软件开发行业带来了巨大的变革，企业需要一个工具链来开发大模型。星环科技作为国内领先的大数据基础软件开发商，积极应对以ChatGPT为代表的人工智能带来的新挑战，打造数据管理平台的多模态、智能化、敏捷化和平民化产品。为帮助企业构建SoLar“求索”，促进金融分析和大数据分析的平民化。星环科技将自主研发的领先创新技术赋能各行各业，与生态伙伴共同打造国产化大数据技术生态，推动数字经济的可持续发展。无涯金融大模型Infinity申请试用大模型是指具有庞大参数数量和更高复杂度的深度学习模。大模型通常拥有数百万、甚至数十亿的参数。与小模型相比，大模型能够更充分地学习数据的细节和特征，从而提高模型的性能和准确。大模型通常需要更多的计算自己的大模型，星环科技推出了机器学习模型全生命周期管理的工具平台SophonLLMOps，支持从数据接入开发、提示工程、大模型微调、上架部署到应用编排和业务效果对齐的全链路流程，结合自研向量数据库

国内人工智能大模型的发展是近年来中国科技领域的一个重要趋势。这些大模型在自然语言处理、计算机视觉、语音识别等多个领域展现出强大的能力，能够处理复杂任务并提供高质量的智能服务。国内的人工智能大模型通常具有以下特点：大规模数据训练：利用海量数据进行深度学习训练，以捕捉复杂的模式和特征。跨领域泛化能力：能够在不同场景下灵活应用，适应多种需求。高性能计算支持：依赖于高性能计算资源和优化算法，确保高效运行。行业定制化：针对特定行业需求进行优化，如金融大模型专注于市场分析和风险管理。

国产大模型是指由中国企业研发的、具有大规模计算和数据处理能力的大型人工智能模型。这些模型旨在解决特定的问题或领域，例如自然语言处理、图像识别、智能推荐等。在国产大模型领域，一些知名的企业不仅在研发大的领域大语言模型”；第二，帮助客户将原型的大语言模型应用，成功在实际生产中投入应用；第三，帮助客户运营在生产中应用的大语言模型和大模型的持续提升。除此之外，星环科技在行业首先推出了两大行业大模型：服务于金融行业的星环金融大模型无涯，以及大数据分析大模型SoLar“求索”。模型方面具有丰富的经验和技术实力，同时也为其他企业提供大模型服务。随着技术的进步和应用场景的不断扩大，国产大模型有望在更多领域得到应用和发展。星环科技大模型训练工具，帮助企业打造自己的专属大模型星环科技在行业内首先提出行业大模型应用创新场景，推出相应的工具，帮助企业构建自有的行业大模型，通过大模型基础设施，形成具备“新型人机交互”且“敏捷可持续迭代“的人工智能应用。为了帮助企业用户基于大模型构建未来应用，星环科技推出了SophonLLMOps，帮助企业构建自己的行业大模型。具体来看，它解决了客户三个核心痛点：第一，提供一站式工具链，帮助客户从“通用大语言模型”训练/微调，得到“满足自身业务特点

大模型训练包括数据准备、预训练及可选的微调阶段，需投入大量资源及特定学习方法；大模型推理涉及输入处理、基于模型知识生成输出及采用优化策略来提高推理效率。大模型的训练和推理是深度学习中两个关键的阶段（Autoregressive）或自编码器（Auto-Encoder）方式。在自回归预训练中，模型会根据文本序列的前面部分预测下一个单词或字符。大规模计算资源投入：预训练过程需要大量的计算资源，通常使用：大模型训练数据准备数据收集：收集海量的、多样化的文本数据。这些数据来源广泛，包括但不限于互联网文章、书籍、新闻、学术论文、社交媒体帖子等。数据清洗和预处理：对收集到的数据进行清洗，去除噪声数据，如广告GPU集群来加速训练。因为模型参数众多，计算复杂度高。微调阶段（可选）有监督学习用于特定任务：如果要将预训练好的大模型应用于特定任务，如情感分析、机器翻译等，就需要进行微调。在这个阶段，会使用带有标注的够根据验证集和测试集的数据不断优化这些添加或调整后的部分，以达到最佳性能。大模型推理输入处理接收和解析输入：推理时，模型首先接收用户输入的文本，如一个问题或一段提示内容。模型会对输入进行解析，将其转换

星环科技作为国内企业级大数据基础软件开发商，以引领行业技术发展和助力各行各业数字化转型为使命，经过多年自主研发，形成了大数据与云基础平台、分布式关系型数据库、数据开发与智能分析工具的软件产品矩阵产品星环科技自成立以来，以技术研发为核心，不断推动业务持续发展。深耕数据基础软件领域，形成了突出的科技创新实力，实现了多项业界突破。TranswarpDataHub‒星环大数据基础平台TranswarpDataHub（TDH)是星环科技自主研发的企业级一站式多模型数据管理平台。凭借星环科技创新的技术架构和深厚的产品研发能力，TDH帮助企业加速数字化转型，更全面、更便捷、更智能、更安全地运用数据，大幅科技自主研发的数据安全管理平台，结合星环大数据平台的安全能力，可以帮助企业建设以数据为中心的数据安全防护体系。Defensor能够帮助企业对敏感数据进行分类分级，并在此基础上，监控敏感数据的使用，能对条线，Pierce依托星环科技大数据与人工智能核心平台、资深业务专家与风控技术团队、泛行业1000+用户多源大数据案例的数据理解、以及泛金融行业应用案例，结合自主研发的多源异构金融知识图谱，为金融行业

大模型时代的到来，给软件开发行业带来了巨大的变革，企业需要一个工具链来开发大模型。星环科技作为国内领先的大数据基础软件开发商，打造数据管理平台的多模态、智能化、敏捷化和平民化产品。为帮助企业构建自己科技还推出了无涯金融大模型Infinity、大数据分析大模型SoLar“求索”，促进金融分析和大数据分析的平民化。星环科技将自主研发的领先创新技术赋能各行各业，与生态伙伴共同打造国产化大数据技术生态的大模型，星环科技推出了机器学习模型全生命周期管理的工具平台SophonLLMOps，支持从数据接入开发、提示工程、大模型微调、上架部署到应用编排和业务效果对齐的全链路流程，结合自研向量数据库Hippo和分布式图数据库StellarDB，能够赋予大模型“长期记忆”，打破通用大模型的时空限制，用户可以快速便捷地构建深谙企业自有专业领域知识的垂直行业大模型，从而让每个人都拥有个性化AI助理。同时星环，推动数字经济的可持续发展。无涯是一款面向金融量化领域、超大规模参数量的生成式大语言模型，融合了舆情、资金、人物、空间、上下游等多模态信息，具备强大的理解和生成能力，支持股票、债券、基金、商品等市场事件的

行业有诸多落地案例。同时星环科技积极参与行业共建，为中国大模型生态发展贡献智慧力量。星环科技参编了国内首个金融行业大模型标准——《面向行业的大规模预训练模型技术和应用评估方法第1部分：金融大模型》，为星环科技致力于打造企业级大数据基础软件，围绕数据全生命周期提供基础软件与服务。在大模型领域，星环科技发布了一系列的工具产品供用户使用，助力企业抓住大模型时代的新机遇。工具链方面，发布了大模型外挂存储分布式向量数据库Hippo、大模型预训练微调工具SophonLLMOps及自动化知识库构建工具TKS。预训练大模型方面，发布了金融大模型星环无涯（Infinity）和数据分析大模型星环求索（SoLar）。用户可以通过星环科技自动化知识工程、多模态数据处理等技术，有效降低企业构建自有大模型应用的门槛，并不断促进我国大模型生态的持续繁荣。星环科技大模型产品目前已经在政府、金融、运营商、制造、能源等多个10家单位联合发起的中国大模型语料数据联盟，致力于做好数据资源“开发者”。此外星环科技在大模型领域也收获了一系列荣誉奖项：入选“2023中国人工智能大模型企业50强”、星环科技无涯金融大模型

星环大模型相关产品星环无涯金融大模型-TranswarpInfinity针对智能投研领域特定的业务逻辑，星环科技通过预训、提示、增强、推导范式的构建，实现Financial-Specific-LLM的训练，推出了金融行业智能投研大模型无涯Infinity。星环科技基于大模型的事件驱动与深度图引擎，实现对事件语义刻画、定价因子挖掘、时序编码、异构关系图卷积传播，进而构建包含事件冲击、时序变化、截面联动和决策博弈等多个维度的智能投研新范式。星环大语言模型运营平台-SophonLLMOps为了帮助企业用户基于大模型构建未来应用，星环科技推出了大模型持续提升和开发工具SophonLLMOps，实现领域大模型的训练、上架和迭代。SophonLLMOps服务于大模型开发者，帮助企业快捷地构建自己的行业大模型，通过大模型基础设施，形成具备“新型人机交互”且“敏捷可持续迭代“的人工智能应用。星环知识中台-TranswarpKnowledgeStudio星环知识中台（TKS）针对政务、工业、能源等领域定制化应用场景，结合大语言模型技术，提供一站式、全流程解决方案。帮助客户高效地创建业务场景并进行系统

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。