稳定性好的向量数据库

的研究，推动相关标准制定工作、撰写行业研究报告，助力我国关键数据基础设施建设和信息化转型又快又稳。此次星环科技受邀加入分布式系统稳定性实验室，是业内对星环科技专业技术能力的充分肯定。随着海量及异构数据的重要底盘，助力我国各领域系统稳定性保障工作至关重要。加入分布式系统稳定性实验室后，星环科技将继续发挥自身在大数据行业多年积累的技术和经验优势，积极参与实验室分布式系统稳定性保障工作，帮助更多企业解决分布式系统面临的稳定性等挑战，加速企业实现数字化转型的目标。日前，星环科技正式受邀加入中国信通院分布式系统稳定性实验室，并获得相关证书。分布式系统稳定性实验室是中国信息通信研究院旗下系统稳定性研究机构，旨在集产学研多方力量，聚焦系统的稳定性保障与建设相关产业、数据库技术、SQL编译技术、数据云技术等基础软件领域的研发，致力于解决采用传统集中式软件架构的信息系统所面临的大数据处理难题，为企业提供处理海量规模、快速流转和多样化类型数据的大数据处理技术，帮助用户等级证书（四级），为目前高等级，体现了星环科技在大数据服务和数据库服务能力上已具备了先进的专业性。随着各领域数字化转型的深入推进，大量关乎国计民生的关键数据系统已成为托举我国社会平稳运行、经济持续增长

向量数据库是专门用来存储和查询向量的数据库。向量数据库基于向量相似性搜索，可以处理更多非结构化数据，比如图像和音频。在机器学习和深度学习中，数据通常以向量形式表示，因此向量数据库被广泛应用于这些领域。向量数据库哪个好？星环科技分布式向量数据库TranswarpHippo星环分布式向量数据库Hippo作为一款企业级云原生分布式向量数据库，基于分布式特性，可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理。通过多进程架构与GPU加速技术，充分发挥并行检索能力，实现毫秒级高性能数据检索，结合相似度检索等技术，帮助用户快速挖掘数据价值。与开源的向量数据库不同，星环分布式向量数据库Hippo具备高可用、高性能、易拓展等特点，支持多种向量搜索索引，支持数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能，很好地满足了企业针对海量向量数据的高实时性检索等场景。云原生技术，支持弹性扩缩容：星环分布式向量数据库Hippo采用全面容器化部署，支持服务的弹性扩缩容，同时具备多租户和强大的资源管控能力。高扩展性，海量向量数据存储：与直接利用各类算法lib不同，星环

，向量数据库能够在极短的时间内完成查询操作，从而满足实时性要求较高的应用场景。同时，向量数据库也具备高并发的处理能力，能够同时处理多个查询请求，确保系统的稳定性和可用性。向量数据库与传统数据库在数据规模、查询方式、计算能力和性能等方面存在明显的区别。数据规模上：传统关系型数据库在处理海量数据时，往往面临着性能瓶颈和扩展性问题。而向量数据库则专为处理超大规模数据而设计，能够高效地存储和检索数以亿计的数据向量，从而满足大规模数据处理的需求。查询方式的不同：传统数据库的查询方式通常包括点查和范围查，这些查询方式基于精确匹配原则，即查询结果要么完全符合条件，要么不符合。而向量数据库的查询方式则更加灵活和复杂，采用近似查找的方式来检索与查询条件相近的结果。这种近似查找的方式使得向量数据库能够处理更加复杂和模糊的查询需求，但同时也对计算能力提出了更高的要求。在计算能力方面：与传统的精确查找相比，近似查找需要进行大量的计算来比较向量之间的相似度。这要求向量数据库具备强大的计算能力和高效的算法来支持这种复杂的查询操作。低时延和高并发：由于采用了高效的数据存储和检索机制

向量数据库技术方面的实践，在产品可用性和稳定性等方面表现优秀。从产品层面来看，被业界看好的开源软件并未占据优势，数据库作为新兴中间件已经初步呈现高度定制化需求，易用性和定制化服务两大要素削弱了开源插件明显。公司早在2018年便为公司内部AI团队研发向量数据库使用，凭借十年深耕于大数据市场所积累的行业经验，公司富有前瞻性地预见到向量数据库未来在AI时代下的应用潜力，不断地积累向量数据库的相关技术与专利，终产品技术迭代五年后于2023年5月份正式发布Hippo。星环的分布式向量数据库Hippo作为一款企业级云原生分布式向量数据库，基于分布式特性，可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理。通过多进程架构与GPU加速技术，充分发挥并行检索能力，实现毫秒级高性能数据检索，结合相似度检索等技术，帮助用户快速挖掘数据价值。星环科技具备多年的数据库技术和AI技术积累，以及向量数据库不仅可以解决LLM众多问题，包括时间局限性，实时性难题和缺乏私域数据；空间局限性，输入限制导致上下文信息丢失；应用痛点，“幻觉”和低准确率问题；多模态数据处理难题等。因此，向量数据库在图像

关系型数据库以其结构化存储、强大的SQL支持、数据完整性保障、事务管理能力、并发控制、数据独立性、索引优化、备份恢复功能、广泛的应用支持和成熟稳定性等优点，在多种数据管理场景中被广泛应用。其优点和使用，提高数据检索的速度。备份与恢复：提供数据备份和恢复功能，确保数据的安全性和可恢复性。广泛的应用：适用于多种应用场景，如金融、电子商务、企业管理等。成熟和稳定：经过多年发展，关系型数据库技术成熟稳定，有大量的成功案例和实践。社区和支持：许多开源的关系型数据库拥有活跃的社区，提供技术支持和最佳实践。安全性：提供数据访问控制和加密功能，保护数据不被未授权访问。可扩展性：支持数据的扩展，可以通过，提高了数据的独立性和可移植性。数据抽象和封装：提供视图（View）等机制，允许用户在不暴露底层数据结构的情况下访问数据。标准化：遵循数据库标准化原则，减少数据冗余，提高数据一致性。索引机制：支持索引的创建增加硬件资源或优化配置来提升性能。跨平台支持：许多关系型数据库管理系统支持多种操作系统平台。复杂查询能力：能够执行复杂的连接（Join）操作和子查询，支持多表查询和数据分析。

稳定性。3、在查询操作方面，向量数据库主要用于相似性搜索和向量之间的比较。查询操作通常涉及计算向量之间的距离或相似性，以找到相似的向量。这种查询方式非常适合于推荐系统、自然语言处理等需要快速检索相似数据的向量数据库和关系型数据库在数据模型、数据存储、查询操作等方面存在显著的差异。1、从数据模型的角度来看，向量数据库专门设计用于存储和查询向量数据。这些向量数据通常表示为数值向量或嵌入向量，是机器学习、自然语言处理等领域中常见的数据形式。向量数据库的数据模型主要围绕向量的存储和相似性搜索展开，能够高效地处理这类数据。而关系型数据库则采用表格形式的数据模型，数据以行和列的方式组织，支持复杂的结构化数据，如文本、数字和日期等。这种数据模型非常适合存储和处理结构化数据，支持复杂的关系查询。2、在数据存储方面，向量数据库注重高效存储和检索向量数据。它们通常采用特定的数据结构和索引来优化向量的存储和查询性能，确保在处理大规模向量数据时能够保持高效。而关系型数据库则以表格的形式存储数据，通过固定模式和模式验证来确保数据的一致性和完整性。这种存储方式使得关系型数据库在处理结构化数据时具有高度的可靠性和

速度就越慢。不过，一个好的系统可以提供超快的搜索速度和近乎完美的精确度。下面是向量数据库的常用流程：编制索引：向量数据库使用PQ、LSH或HNSW等算法为向量建立索引。这一步将向量映射到数据结构中向量数据库对向量进行操作，因此其优化和查询方式与传统数据库截然不同。在传统数据库中，通常会查询数据库中的行，这些行的值通常与我们的查询完全匹配。在向量数据库中，我们应用相似度量来查找与我们的查询相似的向量。向量数据库使用不同算法的组合，这些算法都参与了近似近邻搜索。这些算法可快速、准确地检索所查询向量的邻域。由于向量数据库提供的是近似结果，我们主要考虑的是准确性和速度之间的权衡。结果越准确，查询，从而加快搜索速度。查询：向量数据库将索引查询向量与数据集中的索引向量进行比较，以找到近的相邻向量（应用该索引使用的相似度量）后处理：在某些情况下，向量数据库会从数据集中检索终近邻，并对其进行后处理，以返回终结果。这一步可以包括使用不同的相似性度量对近邻进行重新排序。

外部向量数据库产品可能更加省时省力。这些产品通常已经经过了市场的检验，具有良好的性能和稳定性，而且提供了完善的文档和客户服务支持。企业可以快速地集成这些产品到自己的业务中，并专注于自己的核心业务逻辑自研向量数据库是一个复杂且充满挑战的任务，尤其在考虑到扩展性、成本、易用性以及混合搜索路径优化等问题时。自研向量数据库面临着巨大的挑战。除了上述提到的扩展性、成本、易用性和优化问题外，还需要考虑研发周期、团队能力、技术风险等因素。自研向量数据库可能需要投入大量的时间和资源，而且成功的可能性并不确定。如果企业没有足够的实力和经验来应对这些挑战，那么自研可能并不是一个明智的选择。相比之下，购买成熟的，而不是花费大量的时间和精力在数据库的研发上。当然，自研向量数据库是否有必要，需要根据企业的具体情况和需求来决定。如果企业有特定的业务需求或技术需求，并且有足够的实力和经验来应对研发挑战，那么自研可能是一个值得考虑的选择。否则，购买成熟的外部产品可能更加合适。

相似度搜索或“向量搜索”是向量数据库常见的用例。向量搜索将索引中多个向量的接近程度与搜索查询或主题项进行比较。为了找到相似的匹配项，可以使用用于创建向量嵌入的相同机器学习嵌入模型，将主题项或查询转换为向量。向量数据库比较这些向量的接近度以找到接近的匹配项，并提供相关的搜索结果。向量数据库应用的一些示例包括：语义搜索：在搜索文本和文档时，传统的词法搜索只能进行精确匹配，而语义搜索则更注重与搜索查询等非结构化数据很难用传统数据库来描述。用户可以使用相似的对象和机器学习模型来查询向量数据库，以便更轻松地比较和找到相似的匹配项。重复数据删除和记录匹配：对于需要删除重复项或进行记录匹配的应用程序，向量数据库可以使用机器学习模型来确定相似性，避免不准确或人工的分类工作。推荐和排名引擎：相似的项目通常提供好的建议。例如，在电子商务领域，推荐相似或相关产品、内容或服务可以帮助消费者发现他们可能原来没有考虑过的项目。异常检测：向量数据库可以找到与其他对象非常不同的异常值。对于IT运营、安全威胁评估和欺诈检测等领域，异常检测非常有价值。除了上述应用之外，向量数据库还具有以下关键功能：高性能和高扩展性

通过beeline或JDBC时，设置参数configquery.langcypher;将查询语言切换为TEoC模式。根据使用场景选择查询模式（默认为immediate模式）immediate模式通常用于并发及短查询场景，查询结果和中间结果通常不超过百万。通过configcrux.execution.modeimmediate;切换。analysis模式通常用于分析场景，创建图、插入数据以及图算法相关的语句必须在该模式下进行。通过configcrux.execution.modeanalysis;切换。

类型表达式类型例子十进制型整数10,-213十进制小数1.25,3.604E-14,-2.31十进制型长整数199345843592l,-12381543923L任意精度的有符号十进制数123bd,123.31BD八进制整数(0开头)084,-096字符串"星环",'信息科技'布尔类型true,false,TRUE,FALSE数组类型[1，2，3],["星环","信息科技"],[decimal(10.2,3,1),decimal(100.2,3,2)],[localdatetime("2021-01-18T09:50:12.627"),localdatetime("2021-11-18T03:50:12.113")]时间类型localdatetime("2021-01-18T09:50:12.627")Decimal类型decimal(10.2,3,1)地理空间类型point(20.5,30.5),point(-20.5,-30.5)时序类型{localdatetime("2023-01-01T15:16:17")::"nice"},{localdatetime("1997-01-01...

为什么引入动态图模型？在实际应用过程中很容易可以发现，图数据在很多图数据的应用场景中并不是静态不变的，而是动态演进的，这些场景中包括例如金融反欺诈场景中金融交易网络随着时间的推进而发生的交易变化、交易社群变化等；又比如社交网络中新增用户、用户关注或者取消关注、更改账户信息等。将图数据变化的历史记录下来，不仅可以用于历史数据规律的总结，还可以利用动态图数据进行动态图神经网络相关技术的研究，从而进一步挖掘数据中潜在的数据价值和更加灵活高效的业务场景，譬如预测某一个时刻某一事件是否会发生。动态图模型的动态变化图数据的动态变化主要分为两类，一类是节点或边的属性的值的变化；另一类变化是子图（结构）的变化，如新增/删除点边。这两种图数据的动态变化可以单独发生，也可以同时发生。从图数据的属性变化角度来看，StellarDB5.0.1动态图模型可以记录图中节点或者边属性的所有历史版本（而非新数据覆盖旧数据）。在实际数据开发使用中，还可以结合诸如柱状图、趋势图等对历史数据进行可视化，更加直观、更加适合业务使用。从图数据的子图（结构）的角度来看，StellarDB5.0.1动态图模型还可以返回不同时间子图...

声明简介声明是指为特定数据类型的变量分配一定的存储空间，并命名该变量以便引用它；必须先声明变量，然后才能引用它；对声明的变量可以进行赋值操作来改变它的值；声明的变量其作用域是Session级别的。变量声明使用decl关键字声明一个变量必须为变量指定名称和类型，且名称不能与已有的变量名相同。声明但未赋值的变量的默认值为null。变量名声明对大小写敏感。变量声明的语句遵循如下格式:DECL[<variable_name>:<variable_type>];使用方法示例如下表所示：语句说明declx:int;声明一个类型为int的变量xdecls:string;声明一个类型为string的变量sdecll:long;声明一个类型为long的变量ldeclb:boolean;声明一个类型为boolean的变量bdecld:double;声明一个类型为double的变量ddecltime:localdatetime;声明一个类型为localdatetime的变量timedecld1:decimal;声明一个类型为decimal的变量d1decllist1:list[int...

快速上手本章节将引导您快速熟悉StellarDB，并为您初步介绍如何通过KGExplorer和beeline客户端操作StellarDB。其中，"StellarDB初探"一节通过构建一张人物关系图，从零介绍如何在StellarDB进行基本操作；"StellarDB进阶"一节为您提供了内置于StellarDB的《哈利·波特》人物关系图，帮助您进一步探索StellarDB。StellarDB初探使用KGExplorer构建图从Manager页面进入KGExplorer页面。若KGExplorer开启了单点登录，会自动跳转Federation登录页面，按如图方式登录：KGExplorer用戶开启方法以及详细使用说明请查看章节《KGExplorer使用文档》。点击登录后进入KGExplorer主页面。我们首先需要构建图名为"hello_world"的图。在主页面右上角点击创建图按钮开始图谱schema的构建。按照引导填写图基本信息后点击确定进入构建页面。在画布中，我们为"hello_world"图创建Boy和Girl两种类型的点，两种类型的点均包含name、salary、age、single四...

StellarDB支持用户添加自定义函数，添加后可在cypher语句中使用。自定义函数实现自定义函数通过java/scala语言开发，可继承实现两种基类，编译成jar包，通过指定命令加载到StellarDB。需要实现的基类为如下两种，可自行选择继承合适的基类：继承UDF基类继承GenericUDF基类。继承UDF基类该类实现简单，功能较为单一。支持Quark的基本类型、数组和Map。适合实现简单的逻辑。继承org.apache.hadoop.hive.ql.exec.UDF类继承UDF类必须实现evaluate方法且返回值类型不能为void，支持定义多个evaluate方法不同参数列表用于处理不同类型数据。@Description(name="my_plus",value="my_plus()-ifstring,doconcat;ifinteger,doplus",extended="Example:\n>selectmy_plus('a','b');\n>ab\n>selectmy_plus(3,5);\n>8")/***实现UDF函数，若字符串执行拼接，in...

索引是数据库中某些数据的冗余副本，目的是使查询性能更优。作为代价，数据库需要额外存储空间和较慢写入速度，因此决定哪些字段需要索引是一项重要且不易的任务。（新）StellarDB5.0.1版本不再对旧版本使用的manipulatecreate_index和manipulatedelete_index语法进行支持，在新版本中统一使用createindex和dropindex进行索引的创建和删除新增索引CREATEINDEX[IFNOTEXISTS]FOR(LabelName)ON[f1,f2,...];CREATEINDEX[IFNOTEXISTS]FOR[LabelName]ON[f1,f2,...];不支持对TIME_SERIES类型的属性创建索引默认情况下,对同一个Label的某个属性多次创建索引会报错;但如果带有IFNOTEXISTS,则不会抛出任何错误包裹点边LabelName的括号不同，注意区分示例1.在点labelperson的属性name和age上建立索引CREATEINDEXIFNOTEXISTSFOR(person)ON[name,age];示例2.在边labelask...

3.1在TDH平台安装StellarDB3.2StellarDB安装校验3.3StellarDB低版本升级至StellarDB5.0.1

本章节的示例语句均可在示例图my_graph中执行，执行前请先创建示例图my_graph，建图语句如下:creategraphmy_graphwithschema(:Boy{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})(:Girl{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})[:Friend{sinceint}][:Likes{sinceint}]graphproperties:{`graph.shard.number`:3,`graph.replication.number`:...

StellarDB5.0.1版本对图算法场景进行了大规模改进和提升，内置算法性能得到较大提升。在语法方面，StellarDB5.0.1的内置图算法对于返回的节点，会直接以节点类型返回。因此可以直接使用uid(vertex)访问节点的uid，而不再需要node_rk_to_uid函数进行uid的转换。可以参考PageRank等函数。另外，对于图算法返回的节点，我们也可以灵活的访问其其他属性作为返回值。图计算简介StellarDB的图计算使用TEoC语句调用相应图算法。算法的输入数据为图的点、边数据。当前版本中图计算支持结果返回、结果导出和结果写回。在使用图算法时，使用configcrux.execution.modeanalysis;语句切换到分析模式下使用图算法语句。图数据视图StellarDB支持创建一个可被持久化的视图，用于加速图算法执行过程。创建视图创建视图的语法如下所示：createquerytemporarygraphviewGRAPH_VIEW_NAMEas(v)[e]withGRAPH_ALGO(@GRAPH_VIEW_NAME,VIEW_STORE_PATH,CONFI...