向量数据库比较好用

向量搜索数据库是一种以向量为基础存储单元，具备高效检索向量能力的数据库。向量搜索数据库大多数适用于海量高维向量数据的存储和检索，对于传统关系型数据库无法胜任或效率较低的高维向量场景有较好的解决效果。通过应用向量检索算法，量搜索数据库可以快速检索和匹配目标向量，不仅可以于向量相似度检索，还可以支持分类、聚类和推荐等应用场景。现在大型机构和企业广泛应用向量搜索数据库来挖掘和应用对企业有价值的数据信息，比如金融行业的推荐和欺诈检测，社交网络领域的知识图谱与舆情应用等等。星环科技分布式向量数据库TranswarpHippo星环科技分布式向量数据库TranswarpHippo作为一款企业级云原生分布式向量数据库，支持存储、索引以及管理海量的向量式数据集，提供向量相似度检索、高密度向量聚类等能力，有效地解决了大模型在知识时效性低、输入能力有限、准确度低等问题，让大模型更高效率地存储和读取知识库，降低训练和推理成本，激发更多的AI应用场景。在赋予大模型拥有“长期记忆”的同时，还可以协助企业解决目前担忧的大模型数据隐私泄露问题。与开源的向量数据库不同，星环分布式向量数据库Hippo具备高可用、高性能

相似度搜索或“向量搜索”是向量数据库常见的用例。向量搜索将索引中多个向量的接近程度与搜索查询或主题项进行比较。为了找到相似的匹配项，可以使用用于创建向量嵌入的相同机器学习嵌入模型，将主题项或查询转换为向量。向量数据库比较这些向量的接近度以找到接近的匹配项，并提供相关的搜索结果。向量数据库应用的一些示例包括：语义搜索：在搜索文本和文档时，传统的词法搜索只能进行精确匹配，而语义搜索则更注重与搜索查询等非结构化数据很难用传统数据库来描述。用户可以使用相似的对象和机器学习模型来查询向量数据库，以便更轻松地比较和找到相似的匹配项。重复数据删除和记录匹配：对于需要删除重复项或进行记录匹配的应用程序，向量考虑过的项目。异常检测：向量数据库可以找到与其他对象非常不同的异常值。对于IT运营、安全威胁评估和欺诈检测等领域，异常检测非常有价值。除了上述应用之外，向量数据库还具有以下关键功能：高性能和高扩展性：向量数据库可以处理大规模数据集和高并发访问，提供快速的搜索和查询能力。灵活性：向量数据库可以处理各种类型的非结构化数据，包括文本、图像、音频等。高度可定制化：向量数据库可以根据需要选择合适的机器学习模型

，从而加快搜索速度。查询：向量数据库将索引查询向量与数据集中的索引向量进行比较，以找到近的相邻向量（应用该索引使用的相似度量）后处理：在某些情况下，向量数据库会从数据集中检索终近邻，并对其进行后处理，以返回终结果。这一步可以包括使用不同的相似性度量对近邻进行重新排序。向量数据库对向量进行操作，因此其优化和查询方式与传统数据库截然不同。在传统数据库中，通常会查询数据库中的行，这些行的值通常与我们的查询完全匹配。在向量数据库中，我们应用相似度量来查找与我们的查询相似的向量。向量数据库使用不同算法的组合，这些算法都参与了近似近邻搜索。这些算法可快速、准确地检索所查询向量的邻域。由于向量数据库提供的是近似结果，我们主要考虑的是准确性和速度之间的权衡。结果越准确，查询速度就越慢。不过，一个好的系统可以提供超快的搜索速度和近乎完美的精确度。下面是向量数据库的常用流程：编制索引：向量数据库使用PQ、LSH或HNSW等算法为向量建立索引。这一步将向量映射到数据结构中

数据库通过将高维向量进行近似相似度比较，能够高效地处理大规模的向量数据。相比传统的关系型数据库，向量数据库能够更好地支持向量数据的查询和检索，并能够提供更加丰富的数据分析功能。在大模型时代，向量数据库向量数据库是一种专门用于存储和管理高维向量的数据库系统。随着深度学习和大数据技术的不断发展，向量数据库逐渐成为了一种重要的数据处理工具，尤其在推荐系统、搜索引擎、图像识别等领域中得到了广泛应用。向量的应用场景越来越广泛。例如，在推荐系统中，通过将用户行为和物品特征转化为高维向量，向量数据库可以高效地实现用户和物品的相似度匹配，从而为用户推荐更加精准的物品。在搜索引擎中，向量数据库可以用于实现语义搜索和图像识别等功能，提高搜索的准确性和效率。星环分布式向量数据库-TranswarpHippo星环分布式向量数据库Hippo作为一款企业级云原生分布式向量数据库，基于分布式特性，可以对文档、图片数据库不同，星环分布式向量数据库Hippo具备高可用、高性能、易拓展等特点，支持多种向量搜索索引，支持数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能，很好地满足了企业针对海量向量数据的高实时性检索等场景。

，因此其存储和处理都比较复杂，需要采用特殊的处理方式。与传统的关系型数据表格不同，向量数据通常以向量的形式存储在向量数据库中。这种存储方式能够提高查询效率，并支持更丰富的查询操作，能够满足不同类型的向量数据库是一种非常重要的数据库类型，其核心技术包括向量存储和索引。向量存储指将向量数据以特定的格式存储在数据库中，使其便于查询和管理向量数据通常都是高维度的，如图像、音频、文本、时间序列等数据数据处理需求，从而提高数据库的性能和应用效果。向量索引是向量数据库中非常重要的一部分，其目的是将高维度的向量数据转化为低维度的索引数据，并将索引数据存储在数据库中。通过向量索引，我们能够向量数据映射到低维空间，使其能够更快地进行相似度查询和聚类分析等操作。这种索引方式可以大大提高查询效率，从而减少数据库查询的时间和资源消耗，提高数据处理效率和准确性。星环分布式向量数据库-TranswarpHippo星环分布式向量数据库Hippo作为一款企业级云原生分布式向量数据库，基于分布式特性，可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理。通过多进程架构与GPU加速技术，充分发挥并行

各种类型的数据，如图像、文本或声音等。向量数据库通过嵌入模型将数据转换为数值向量，便于进行高效的比较和相似性搜索。查询方式：向量数据库针对相似性搜索进行了优化，能够快速找到与查询向量最相似的若干个向量。它使用专门的索引方法，以加快相似性搜索。应用场景：主要应用于推荐系统、图像检索、自然语言处理等领域。例如，在推荐系统中，向量数据库可以快速比较用户向量和商品向量之间的相似度，从而推荐相关商品。区别总结图数据库和向量数据库是两种不同类型的数据库系统，它们在数据模型、查询方式以及应用场景等方面有显著的区别：图数据库数据模型：图数据库将数据表示为节点和边。节点代表实体，边代表实体之间的关系。这种模型场景：广泛应用于社交网络分析、推荐系统、欺诈检测、知识图谱等领域。例如，在社交网络中，图数据库可以轻松应对各种复杂存储和查询场景。向量数据库数据模型：向量数据库专门用于存储和查询高维向量数据。这些向量可以代表数据类型：图数据库主要用于存储图形数据，而向量数据库主要用于存储向量数据。查询重点：图数据库侧重于关系和路径的查询，而向量数据库侧重于相似性搜索。适用场景：图数据库适合处理复杂关系的数据，如社交网络和知识图谱；向量数据库适合处理需要相似性搜索的数据，如推荐系统和图像检索。

向量数据库是专门用于高效地存储、查询和管理向量数据的数据库。而向量存储，作为向量数据库的核心组成部分，其设计和优化直接影响到数据库的性能和效率。数据结构向量数据库在存储向量数据时，通常会采用特定的具有固定维度的向量集合。这些平面数据结构简单直观，但在处理大规模数据集时，可能会面临性能瓶颈。特定向量存储引擎：为了克服平面数据结构的局限性，一些向量数据库采用了特定的向量存储引擎。这些引擎针对向量和提高存储效率，一些向量数据库采用了压缩技术。压缩算法：这些算法通过消除数据中的冗余和重复信息，来减少向量数据的大小。常见的压缩算法包括有损压缩和无损压缩。有损压缩在压缩过程中会损失一定的精度，但通常可以获得更高的压缩比；而无损压缩则能够在保持数据完整性的前提下进行压缩。大规模数据集优化：在处理大规模数据集时，压缩技术显得尤为重要。通过合理地应用压缩算法，向量数据库可以显著减少存储空间的使用，降低存储成本。同时，压缩后的数据还可以提高数据传输和处理的效率，进一步提升整个系统的性能。数据结构。这些数据结构能够有效地组织和存储向量，以便于后续的查询和计算。平面数据结构：常见的平面数据结构包括数组和矩阵。数组是一种线性结构，适用于存储一系列有序的向量；而矩阵则是一种二维结构，适用于存储

向量数据库是一种新型的数据库架构，它使用向量表示法来存储和检索数据。这些向量是由深度学习模型生成的，可以简化处理多结构化内容的方式。与传统的关系型数据库不同，向量数据库设计为多语言和多模态，可以在同一向量空间内处理任何形式的自然语言和非结构化数据，如图像、视频、音频、文本等。这意味着，无论数据的形式如何，都可以使用相同的向量表示法进行处理。向量数据库通过处理深度学习模型的嵌入式向量来存储、索引和搜索大型非结构化数据集。这些向量是通过对原始数据应用某种转换或嵌入函数来生成的。嵌入函数可以基于各种方法，如机器学习模型、词嵌入、特征提取算法等。在向量数据库中搜索使用相似性指标和索引。相似性指标定义了数据库如何评估两个向量之间的距离和差值。常用的相似性度量是欧几里得距离，也称为L2范数。此外，索引也在加快查询速度和处理并发性方面发挥着关键作用。与传统的基于文本的数据库相比，向量数据库的主要优点是允许根据向量距离或相似性快速准确地搜索和检索数据。这意味着，用户可以使用向量数据库根据语义或上下文含义查找相似或相关的数据，而不是使用基于完全匹配或预定义条件查询数据库的传统方法。这种基于相似性的搜索方法可以更好地处理语义层面的查询，而不仅仅是基于关键词的匹配。

。应用场景向量数据库：适用于处理高维数据，尤其是在需要进行相似度匹配的场景中。例如，在图像识别中，可以通过比较图像的向量表示来找到相似的图像；在推荐系统中，可以通过计算用户兴趣向量的相似度来推荐向量数据库和图数据库在数据结构、查询方式以及应用场景上存在显著的差异。数据结构向量数据库：专注于存储和管理由一组数值组成的向量数据。这种数据结构特别适用于处理高维数据，如图像、音频和文本等。在向量数据库中，数据以向量的形式表示，这允许进行高效的相似度计算和聚类分析。图数据库：专注于存储和管理由节点（代表实体）和边（代表关系）组成的图形数据。这种数据结构非常适合处理具有复杂关系的数据集，如社交网络、知识图谱等。在图数据库中，数据以图的形式表示，能够直接反映实体之间的关联和路径。查询方式向量数据库：查询主要基于向量的相似度计算，如欧氏距离、余弦相似度等。这种查询方式能够快速找到与给定向量相似的数据，对于推荐系统、信息检索等场景非常有用。图数据库：查询通常基于图的遍历和匹配算法，如短路径查找、子图匹配等。这种查询方式能够揭示实体之间的关系，挖掘数据中的模式和结构，适用于关系分析、知识推理等场景

快速上手本章节将引导您快速熟悉StellarDB，并为您初步介绍如何通过KGExplorer和beeline客户端操作StellarDB。其中，"StellarDB初探"一节通过构建一张人物关系图，从零介绍如何在StellarDB进行基本操作；"StellarDB进阶"一节为您提供了内置于StellarDB的《哈利·波特》人物关系图，帮助您进一步探索StellarDB。StellarDB初探使用KGExplorer构建图从Manager页面进入KGExplorer页面。若KGExplorer开启了单点登录，会自动跳转Federation登录页面，按如图方式登录：KGExplorer用戶开启方法以及详细使用说明请查看章节《KGExplorer使用文档》。点击登录后进入KGExplorer主页面。我们首先需要构建图名为"hello_world"的图。在主页面右上角点击创建图按钮开始图谱schema的构建。按照引导填写图基本信息后点击确定进入构建页面。在画布中，我们为"hello_world"图创建Boy和Girl两种类型的点，两种类型的点均包含name、salary、age、single四...

声明简介声明是指为特定数据类型的变量分配一定的存储空间，并命名该变量以便引用它；必须先声明变量，然后才能引用它；对声明的变量可以进行赋值操作来改变它的值；声明的变量其作用域是Session级别的。变量声明使用decl关键字声明一个变量必须为变量指定名称和类型，且名称不能与已有的变量名相同。声明但未赋值的变量的默认值为null。变量名声明对大小写敏感。变量声明的语句遵循如下格式:DECL[<variable_name>:<variable_type>];使用方法示例如下表所示：语句说明declx:int;声明一个类型为int的变量xdecls:string;声明一个类型为string的变量sdecll:long;声明一个类型为long的变量ldeclb:boolean;声明一个类型为boolean的变量bdecld:double;声明一个类型为double的变量ddecltime:localdatetime;声明一个类型为localdatetime的变量timedecld1:decimal;声明一个类型为decimal的变量d1decllist1:list[int...

StellarDB5.0.1版本对图算法场景进行了大规模改进和提升，内置算法性能得到较大提升。在语法方面，StellarDB5.0.1的内置图算法对于返回的节点，会直接以节点类型返回。因此可以直接使用uid(vertex)访问节点的uid，而不再需要node_rk_to_uid函数进行uid的转换。可以参考PageRank等函数。另外，对于图算法返回的节点，我们也可以灵活的访问其其他属性作为返回值。图计算简介StellarDB的图计算使用TEoC语句调用相应图算法。算法的输入数据为图的点、边数据。当前版本中图计算支持结果返回、结果导出和结果写回。在使用图算法时，使用configcrux.execution.modeanalysis;语句切换到分析模式下使用图算法语句。图数据视图StellarDB支持创建一个可被持久化的视图，用于加速图算法执行过程。创建视图创建视图的语法如下所示：createquerytemporarygraphviewGRAPH_VIEW_NAMEas(v)[e]withGRAPH_ALGO(@GRAPH_VIEW_NAME,VIEW_STORE_PATH,CONFI...

3.1在TDH平台安装StellarDB3.2StellarDB安装校验3.3StellarDB低版本升级至StellarDB5.0.1

为什么引入动态图模型？在实际应用过程中很容易可以发现，图数据在很多图数据的应用场景中并不是静态不变的，而是动态演进的，这些场景中包括例如金融反欺诈场景中金融交易网络随着时间的推进而发生的交易变化、交易社群变化等；又比如社交网络中新增用户、用户关注或者取消关注、更改账户信息等。将图数据变化的历史记录下来，不仅可以用于历史数据规律的总结，还可以利用动态图数据进行动态图神经网络相关技术的研究，从而进一步挖掘数据中潜在的数据价值和更加灵活高效的业务场景，譬如预测某一个时刻某一事件是否会发生。动态图模型的动态变化图数据的动态变化主要分为两类，一类是节点或边的属性的值的变化；另一类变化是子图（结构）的变化，如新增/删除点边。这两种图数据的动态变化可以单独发生，也可以同时发生。从图数据的属性变化角度来看，StellarDB5.0.1动态图模型可以记录图中节点或者边属性的所有历史版本（而非新数据覆盖旧数据）。在实际数据开发使用中，还可以结合诸如柱状图、趋势图等对历史数据进行可视化，更加直观、更加适合业务使用。从图数据的子图（结构）的角度来看，StellarDB5.0.1动态图模型还可以返回不同时间子图...

通过beeline或JDBC时，设置参数configquery.langcypher;将查询语言切换为TEoC模式。根据使用场景选择查询模式（默认为immediate模式）immediate模式通常用于并发及短查询场景，查询结果和中间结果通常不超过百万。通过configcrux.execution.modeimmediate;切换。analysis模式通常用于分析场景，创建图、插入数据以及图算法相关的语句必须在该模式下进行。通过configcrux.execution.modeanalysis;切换。

本章节的示例语句均可在示例图my_graph中执行，执行前请先创建示例图my_graph，建图语句如下:creategraphmy_graphwithschema(:Boy{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})(:Girl{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})[:Friend{sinceint}][:Likes{sinceint}]graphproperties:{`graph.shard.number`:3,`graph.replication.number`:...

类型表达式类型例子十进制型整数10,-213十进制小数1.25,3.604E-14,-2.31十进制型长整数199345843592l,-12381543923L任意精度的有符号十进制数123bd,123.31BD八进制整数(0开头)084,-096字符串"星环",'信息科技'布尔类型true,false,TRUE,FALSE数组类型[1，2，3],["星环","信息科技"],[decimal(10.2,3,1),decimal(100.2,3,2)],[localdatetime("2021-01-18T09:50:12.627"),localdatetime("2021-11-18T03:50:12.113")]时间类型localdatetime("2021-01-18T09:50:12.627")Decimal类型decimal(10.2,3,1)地理空间类型point(20.5,30.5),point(-20.5,-30.5)时序类型{localdatetime("2023-01-01T15:16:17")::"nice"},{localdatetime("1997-01-01...

StellarDB支持用户添加自定义函数，添加后可在cypher语句中使用。自定义函数实现自定义函数通过java/scala语言开发，可继承实现两种基类，编译成jar包，通过指定命令加载到StellarDB。需要实现的基类为如下两种，可自行选择继承合适的基类：继承UDF基类继承GenericUDF基类。继承UDF基类该类实现简单，功能较为单一。支持Quark的基本类型、数组和Map。适合实现简单的逻辑。继承org.apache.hadoop.hive.ql.exec.UDF类继承UDF类必须实现evaluate方法且返回值类型不能为void，支持定义多个evaluate方法不同参数列表用于处理不同类型数据。@Description(name="my_plus",value="my_plus()-ifstring,doconcat;ifinteger,doplus",extended="Example:\n>selectmy_plus('a','b');\n>ab\n>selectmy_plus(3,5);\n>8")/***实现UDF函数，若字符串执行拼接，in...

索引是数据库中某些数据的冗余副本，目的是使查询性能更优。作为代价，数据库需要额外存储空间和较慢写入速度，因此决定哪些字段需要索引是一项重要且不易的任务。（新）StellarDB5.0.1版本不再对旧版本使用的manipulatecreate_index和manipulatedelete_index语法进行支持，在新版本中统一使用createindex和dropindex进行索引的创建和删除新增索引CREATEINDEX[IFNOTEXISTS]FOR(LabelName)ON[f1,f2,...];CREATEINDEX[IFNOTEXISTS]FOR[LabelName]ON[f1,f2,...];不支持对TIME_SERIES类型的属性创建索引默认情况下,对同一个Label的某个属性多次创建索引会报错;但如果带有IFNOTEXISTS,则不会抛出任何错误包裹点边LabelName的括号不同，注意区分示例1.在点labelperson的属性name和age上建立索引CREATEINDEXIFNOTEXISTSFOR(person)ON[name,age];示例2.在边labelask...