国产软件和数据要素

的国产软件发展机遇，交流生态拓展实践经验，助力实现企业生态建设高质量发展。目前星环科技已经同数百家生态伙伴建立合作关系，此后希望以更积极热情的态度，结交更多的行业优秀合作伙伴，挖掘更多的合作机会，拓展，以及如何帮助软件合作伙伴成功。英特尔（中国）软件技术合作事业部总监刘斌（Robin)朱珺辰以“技术创新，国产软件发展新机遇”为主题分享了星环科技的技术发展与生态建设。星环科技联合创始人朱珺辰周庆丰、杨新宇主持了题为“新形势下国产软件发展之路”的开放讨论，包括国产软件如何才能快速替补海外软件退出产生的市场空白；迎接创新的技术、革命性的新计算模式带来的新增的市场机遇；国产软件发展遇到的痛点及处理经验；生态合作成功经验四大议题。英特尔（中国）软件技术合作事业部高级客户经理周庆丰（Roger）星环科技副总裁杨新宇得益于国家政策的大力扶持以及国内市场环境的快速发展，国产软件加速发展。推动信创产业以及信创生态的繁荣发展是当前我国推进科技创新与发展，以及企业谋求更加强劲市场竞争力的重要途径，在很多关键领域和关键技术方面，通过自主研发逐步实现国产化替代，将是未来实现产业创新的出发点和落脚点。随着国产大数据

业务价值。当前得益于国家政策的大力扶持以及国内市场环境的快速发展，国产软件加速发展，国产化替代进程正在不断加速。自主可控是国产化替代的核心，同时也是一个阶段性的目标。我们不应该满足于此，应该抓住国产自主研发的国产分布式交易型数据库，提供完整的关系型数据库的能力，高度兼容MySQL和Oracle，可低成本实现数据库国产化的替代和迁移，具备可扩展、高并发、高可用、数据灾备等特性，满足企业关键业务处理成效比提升了14倍。分布式图数据库StellarDB，平滑替代Neo4j构建国产一站式知识图谱平台StellarDB是星环科技自主研发的分布式图数据库，提供高性能的图存储、计算、分析、查询和展示服务化改造的机遇，用新技术去替代老技术，实现自主可控的同时，完成旧系统的改造升级，这也是信创的主旨。星环科技致力于打造企业级大数据基础软件，围绕数据全生命周期提供基础软件与服务，在分布式技术、多模型技术趋势报告引用星环科技多模型联合分析用例，论证了多模型融合分析的趋势和价值。基于多年积累的分布式技术、多模型统一技术、数据云技术等，星环科技打造了分布式数据库ArgoDB、分布式交易型数据库KunDB

国产软件的超群实力。据悉，上海国际科普产品博览会已成功举办四届。本届科博会围绕“科普——让生活更美好”为主题，汇聚了来自中、美、法、日、俄等15个国家与地区的380余家科技类企业、科技园区、科研机构和动手实践，近距离地体验星环的产品。与高科技产品握手，真正实现高科技产品科普化。作为土生土长的上海本土企业，星环科技专注于提供企业级容器云计算、大数据和人工智能核心平台的研发和服务，打造大数据和证明中国基础软件领域的实力。目前，公司的产品已经在金融、交通、能源等行业应用落地，是国内落地案例多的大数据与人工智能平台供应商，成功助力成百上千的客户创造更高的企业价值。未来，星环科技也将继续砥砺前行，结合自身的极速大数据平台，推进更多企业智慧化转型。高等院校参与，一场高端科技与顶尖技术相碰撞的“超级盛宴”，吸引了超过20万人次参会，获得了社会各方的关注与好评。展会现场，星环科技充分展示了基于大数据与人工智能技术为中石油构建的一站式大数据综合平台，深入浅出地讲解了星环科技在大数据技术运用方面的真实案例，帮助观众充分理解了大数据技术到底是如何被各行各业所应用的。另外，大会现场的Demo展示区与动手体验区更是颇受欢迎，观众在工作人员的讲解与指导下进行

要求。数据量与增长预测：分析当前的数据量以及未来业务发展可能带来的数据增长趋势，以便在国产化替换时选择合适的硬件和软件配置，确保系统能够长期稳定运行。技术选型国产数据库选择：根据业务需求和数据特点，选择合适的国产数据库作为实时数仓的核心存储和计算引擎。评估数据库的性能、可扩展性、对实时数据处理的支持能力、与其他国产软件的兼容性等。大数据平台选型：考虑选择成熟的国产大数据平台，这些平台通常提供了丰富的大数据。安全与权限管理：根据国产软件的安全特性和企业的安全需求，重新配置实时数仓的安全策略和权限管理，确保数据的安全性和保密性。这包括用户认证、授权、访问控制、数据加密等方面的设置。性能优化与测试性能调优：在数仓运维体系，包括监控系统、日志管理、故障排除机制等。选择合适的国产运维工具，对系统的运行状态进行实时监控，及时发现并处理异常情况。技术支持与合作：与国产软件供应商建立良好的合作关系，获取及时的技术支持和更新服务。同时，鼓励内部技术人员积极参与国产化技术的研究和应用，提高自主运维和创新能力。实时数仓本地部署国产化替换通常需要以下几个关键步骤和考虑因素：前期评估与规划系统架构评估：对现有实时数仓的系统架构进行全面评估，包括数据存储结构、计算框架、数据处理流程、接口等，识别出与国产化环境不

成本。在分析型业务方面以更低成本、更高性能完整替代了传统Oracle数据仓库，确保分析型业务与交易型业务的隔离。凭借持续的自主研发和技术创新，星环科技在推动大数据基础软件国产化替代进程的过程中，也收获了诸多星环科技作为一家企业级大数据基础软件开发商，自成立之初就坚持自主研发与技术创新，勇担时代使命，积极参与信息产业国产化进程，成为大数据基础软件国产化的重要推动者之一。通过自主研发，公司已实现多项技术突破，形成了大数据与云基础平台、分布式关系型数据库、数据开发与智能分析工具的软件产品矩阵。目前，星环科技已助力金融、能源、制造、交通等行业多个客户实现了数据分析场景中部分关键信息系统的国产替代，替代的库。为此星环科技采用新一代的分布式技术，自主研发了分布式数据库ArgoDB和分布式交易型数据库KunDB。作为公司自主研发的数据库，ArgoDB是一款具备多模型、联邦等特性的高性能分析型数据库，并且注重与国产软硬件生态的兼容，已经完成和飞腾、鲲鹏等国产硬件及麒麟、UOS等国产操作系统的深度适配。ArgoDB兼容Oracle、IBMDB2、Teradata数据库对SQL语言的扩展，可以在数据仓库场景中替代

软件产品，而且拥有大量成功的应用案例。大数据基础平台TDH和数据云平台TDC联合，可以完美地替代CDH/HDP和CDP，提升功能、性能、稳定性、易用性、扩展性、可靠性、安全、国产生态支持等能力，提供星环科技致力于打造企业级大数据基础软件，自成立以来，一直坚持自主研发与技术创新，积极参与信息产业国产化进程，是大数据基础软件国产化的重要推动者之一。经过多年自主研发与技术创新，星环科技已形成大数据与70%，ArgoDB代码自主率（行数）分别超过90%。在今年的向星力·未来数据技术峰会（FDTC）上，星环科技推出众多创新产品，国产化替代更进一步，不但可以替换国外的商业和开源大数据平台、数据库等基础云基础平台、分布式关系型数据库、数据开发与智能分析工具的软件产品矩阵。星环科技产品自带信创基因，根据工信部电子第五研究所代码扫描测试报告，星环科技大数据基础平台TDH的1200万行代码里自研代码率超过多种模型支持能力，性能提升可以达到5到100倍，原厂专业服务能力更强。分布式数据库ArgoDB强化实时分析能力，构建安全高效的国产化多模引擎，一站式满足用户数据仓库、数据集市、实时数仓、OLAP

多年积累，星环科技研发了数据要素流通全过程的一系列工具，在各方数据不出域的前提下，为数据资源方和数据消费方提供数据交付服务，持续为数据要素安全流通保驾护航。早在2021年星环科技就成为上海数据交易所星环科技致力于打造企业级大数据基础软件，围绕数据全生命周期提供基础软件与服务，在数据要素市场化领域深耕多年，拥有丰富的数据要素市场化建设经验。基于在大数据、分布式数据库、隐私计算、数据安全流通领域的大数据研究院、江苏无锡大数据交易有限公司等单位联合成立“数据要素价值释放共同体”；11月，作为中立的技术提供方加入中国大模型语料数据联盟。数据作为国家基础性战略资源，是推动数字中国建设和加快数字经济发展的重要生产要素。随着“数据二十条”的发布、国家数据局的成立，为我国数据要素市场注入了新的活力。星环科技作为国内领先的企业级大数据基础软件开发商，将持续发挥自身技术优势，以高质量数据治理激活数据要素潜能，提升数据价值，为各行各业数字化转型提供动力引擎。首批签约数商。2022年11月，星环科技成为深圳数据交易所首批数据商；12月，与中国东信旗下北部湾大数据交易中心达成了战略合作。2023年7月，星环科技签约成为内蒙古重要数商合作伙伴；10月，与深圳市

和视频）。软件层面国产操作系统和数据库：在操作系统方面，采用国产操作系统作为数据中台的运行环境。这些操作系统经过安全加固，能够提供稳定的运行支持，并且在与国产硬件的适配性方面表现良好，有助于提高系统的国产化数据中台是指在数据中台的构建过程中，从硬件、软件到技术服务等多个层面，主要采用国产自主研发的产品和技术，以满足国内企业数据管理、整合、分析及应用等需求的中台系统。其目的是实现数据的汇聚、共享和有序和可用。在数据分析工具方面，国产数据分析软件能够提供数据挖掘、机器学习等功能。例如，通过国产数据分析工具可以对数据中台中的客户数据进行聚类分析，将客户分为不同的群体，以便企业更好地制定营销策略价值挖掘，同时保障数据的安全性、可控性和合规性，减少对国外技术的依赖。硬件层面国产服务器和存储设备：国产化数据中台可基于国产服务器构建。在存储设备方面，像国产分布式存储系统，它们能够提供大规模的数据整体性能和安全性。对于数据库，国产数据库发挥着关键作用。它们可以用于存储和管理数据中台中的数据，并且在功能上不断完善，能够支持事务处理、数据分析等多种业务需求。国产数据处理和分析工具：国产数据处理框架

数据要素交易是指买卖双方在数据交易平台上进行的数据买卖活动，包括数据产品的交易和数据服务的交易。在数据要素交易中，数据卖方将收集和整理的数据通过数据交易平台出售给数据买方，买方则利用这些数据进行特定，需要进一步完善相关法律法规和技术手段，促进数据要素市场的健康发展。为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期可控可责。国产化适配企业级应用平台：主流国产化生态厂商适配互认，可适配多种国产芯片、操作系统和中间件，满足国产化需求。星环产品作为企业级应用平台，支持自动服务部署与调度，提供强大的服务编排调度和资源管理，拥有良好的系统稳健性，保障企业间数据协作的安全。目的的分析和处理。同时，数据交易平台也需要遵守相关的法律法规和交易规则，确保交易的合法性和公平性。目前，数据交易平台正在快速发展，但仍存在一些问题，如数据安全和隐私保护、数据交易规则和标准缺乏等。未来的各个阶段，包括数据的收集、存储、使用、加工以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。生态协作快速落地：星环是上海数据交易所首批“数商”，目前已有

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...