高性能分布式分布式分析型数据库

星环分布式数据库
星环分布式数据库(Transwarp ArgoDB)是星环科技自主研发的分布式数据库,可以替代Hadoop+MPP混合架构。支持标准SQL语法,提供实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等领先技术能力。通过一个ArgoDB数据库,就可以满足数据仓库、实时数据仓库、数据集市、OLAP、AETP、联邦计算等各种需求。降低平台复杂性和IT总拥有成本的同时,提升业务响应速度。

高性能分布式分布式分析型数据库 更多内容

进行数据交换和通信,以达到可用性、高性能和可扩展性的目的。分布式关系数据库通常由多个数据库实例组成,每个实例分布在不同的机器上,并通过复杂的协议和通信机制实现数据同步和故障恢复。分布式关系数据库通常支持多种事务和操作,如多表关联查询、事务控制、ACID特性等,可以作为企业核心业务的重要数据存储和处理技术。分布式关系数据库的优点包括可用性、高性能、可扩展性、负载均衡、数据安全和容错能力等,在什么是分布式关系数据库分布式关系数据库(DistributedRelationalDatabase)是指将关系数据库分布在不同的服务器或计算机上,以处理大数据量和并发性的要求,并通过网络交易数据库KunDB和分布式数据库ArgoDB。基于KunDB与ArgoDB的数据库解决方案,为企业核心业务数据库升级改造、核心分析系统建设、创新应用开发国产化替代等业务场景提供完备的能力支撑。选择和实现分布式关系数据库时,需要综合考虑各种因素,包括数据规模、业务需求、安全性、成本和维护难度等。星环分布式关系数据库星环科技在基础软件产品领域积累多年,在大数据平台TDH的研发过程中积累
数据实时性检索等场景。星环分布式数据库-TranswarpStellarDBTranswarpStellarDB是星环科技自主研发的企业级分布式数据库,提供高性能的图存储、计算、分析、查询和星环科技推出的一款分布式时空数据库,支持空间地理、时空轨迹、遥感影像等海量数据的存储、查询、分析和挖掘服务。Spacture具备高性能数据读写和分析能力。支持OGC标准图形类型和空间关系,兼容常见的控等场景。星环分布式时序数据库-TranswarpTimeLyreTranswarpTimeLyre是星环科技推出的一款时序数据库,提供海量时间序列数据的高效压缩存储和高性能分析服务。TimeLyre超90%,可实现Oralce和MySQL的国产化替代,满足企业关键业务处理、并发查询、分布式改造、交易分析混合的数据中台等复杂场景,在金融、政务、能源、医疗、交通、教育等多个行业应用,为用户提供高性能、稳定可靠、经济实用的国产化数据库产品。Oracle和MySQL、可用、高性能、集中式与分布式一体化等特性,为企业核心业务系统提供完备的国产化数据库能力支撑。基于自研内存数据库引擎,KunDB单机TPC-C达到188万tpmC,同时性能扩展比
数据分析业务场景的国产化分布式多模数据库,能够一站替代Hadoop+MPP混合架构,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力,一站满足数据分布式关系数据库有哪些?星环科技在基础软件产品领域积累多年,在大数据平台TDH的研发过程中积累了大量的SOL、PL/SOL、数据库优化器、分布式事务等基础技术和专利,相关的技术优势可以在关系数据库中再次落地,从而加速分布式数据库的研发效率。采用新一代的基于分布式计算的数据库技术,自主研发了分布式交易数据库KunDB和分布式数据库ArgoDB。基于KunDB与ArgoDB的数据库解决方案,为企业核心业务数据库升级改造、核心分析系统建设、创新应用开发国产化替代等业务场景提供完备的能力支撑。TranswarpArgoDB-星环分布式数据库TranswarpArgoDB是星环科技自主研发的面向基准测试并经过TPC官方审计的数据库产品。TranswarpKunDB-星环分布式交易数据库TranswarpKunDB是星环科技基于分布式技术自主研发的分布式交易数据库,提供完整的关系数据库
什么是分布式交易数据库分布式交易数据库是指把一个交易数据库分布在多台服务器上,使得多台服务器上的交易数据库协同工作,以实现多个并发操作的高性能并发性、强数据一致性和可扩展性等特性。在数据库,提供完整的关系数据库的能力,高度兼容SQL,保证事务ACID。KunDB具有业内领先的事务处理性能,SQL兼容性以及新的分布式查询优化技术,支持复杂查询且性能是MySQL的10倍以上,充分分布式交易数据库中,每台服务器上都有一份数据,交易数据库会自动地将数据同步到其他节点中,以保证数据的一致性。国产分布式交易数据库-KunDBKunDB是星环科技基于分布式技术自主研发的国产化的交易,KunDB提供全链路可用、一致性备份恢复等容灾能力,以及完备的安全管理、资源管理能力,可以为不同业务场景保驾护航。而且KunDB已经通过了工信部分布式数据库测试、央行数据库标准测试等多项权威测试认证满足并发、大数据量的交易业务场景,能够实现MySQL,Oracle等传统主流数据库的国产化替代。独特的混合部署技术支持主流国产化CPU等自主可控的硬件平台和OS部署,满足国产化部署需求。此外
-TranswarpHippoTranswarpHippo是一款企业级云原生分布式向量数据库,支持存储,索引以及管理海量的向量数据集,能够高效的解决向量相似度检索以及高密度向量聚类等问题。Hippo具备可用、高性能、易拓展等分布式向量数据库中,数据可以被分散存储在分布式系统中的多个节点上,并且可以通过负载均衡等技术实现数据的高效查询和分片处理,从而提高存储和计算的效率和性能。星环科技向量数据库什么是分布式向量数据库?分布式向量数据库是一种基于分布式系统架构的向量数据库,它将向量数据库的功能和分布式系统的特性相结合,可以实现在大规模集群上存储和处理海量的向量数据。相比于传统的向量数据库,在原生系统:Hippo采用全面容器化部署,支持服务的弹性扩缩容;同时具备多租户和强大的资源管控能力。分布式部署:具备分布式部署能力,满足大规模集群部署需求;通过Raft算法确保数据的强一致性;同时提供故障迁移,数据修复等数据保障能力。企业级安全:Hippo可提供基于SASL的用户认证能力,以及基于SSL/TLS的数据加密传输。高性能检索:Hippo支持多进程架构与GPU加速,可以充分发挥并行检索能力
星环科技自主研发的分布式交易数据库,具备高度兼容Oracle和MySQL、可用、高性能、集中式与分布式一体化等特性,为企业核心业务系统提供完备的国产化数据库能力支撑。基于自研内存数据库引擎用于需要高响应性能数据完整性的应用场景,例如金融交易、电子商务等。分布式交易数据库具备以下特点:实时性要求:它需要满足实时性要求,能够快速响应用户提交的交易请求,即时处理数据更新。面向应用:它提供了分布式交易数据库指实时的、面向应用的分布式数据库,响应及时性要求很高,具备快速读写单行数据的能力,同时保证数据完整性。分布式交易数据库是一种专注于处理并发实时交易的分布式数据库系统。它主要。数据完整性保证:它采用一系列机制来保证数据的完整性,如多副本数据复制、数据冗余和容错机制,确保数据的可靠性和一致性。分布式交易数据库通常会采用分布式架构和可用技术,使用分布式事务协议来处理跨节点的数据更新操作,利用缓存技术和预读预写等优化策略提高读写性能。同时,它还需要具备水平扩展和负载均衡等能力,以适应大规模的数据和用户访问需求。星环分布式交易数据库-TranswarpKunDBKunDB是
分布式关系数据库是一种将数据分散存储在多个物理或逻辑节点上的数据库系统,它具有以下特点和应用场景:特点:数据分布存储:数据被分散存储在多个节点上,通过网络连接来实现数据的共享和访问。可扩展性数据一致性问题,确保在不同节点间的数据保持一致。支持SQL查询:许多分布式关系数据库支持SQL查询,便于数据操作和事务管理。水平扩展:通过数据分片实现水平扩展,提高系统的整体性能和可用性。应用,提供可用性和可扩展性。大数据分析:通过对海量数据分布式存储和查询,快速获取有价值的信息,支持数据挖掘和机器学习等技术。:能够通过增加节点来扩展存储容量和处理能力,以应对数据量的增长。并发性:支持大量并发访问,适用于需要高并发处理的场景。可用性:通过数据复制和故障转移机制,提高系统的可用性和容错性。数据一致性:需要解决场景:互联网和电子商务平台:处理大量用户生成的数据和实时互动,需要高并发处理能力和数据的快速读写。金融行业:在支付、转账等金融交易中,需要保证数据的一致性和事务性。物联网:满足设备之间的连接和数据交换需求
,通常使用分布式事务协议。弱一致性事务:在某些分布式数据库中,为了提高性能和可扩展性,可能会使用弱一致性事务模型,如最终一致性。一致性:多种一致性模型:提供多种数据一致性模型,如强一致性、最终一致性和因果,适合处理大规模数据并发请求。动态扩展:许多分布式数据库支持在线扩展,即在系统运行时增加或减少节点,而不需要停机。适用场景:适合大规模数据存储和并发访问的场景,如大型互联网应用、大数据分析分布式事务处理等。总结选择依据:数据一致性和事务管理要求:如果业务对数据一致性和事务管理要求非常,关系数据库可能更合适。数据规模和并发需求:如果需要处理大规模数据并发请求,分布式数据库是更好的选择分布式数据库和关系数据库在架构、数据模型、事务管理、一致性和可扩展性等方面有显著的区别。以下是它们的主要对比:关系数据库数据模型:关系模型:使用表格(表)来组织数据,表由行和列组成。数据之间的。灵活性和可扩展性需求:如果需要灵活的可扩展性和支持多种数据模型,分布式数据库更具优势。系统复杂性和管理成本:关系数据库的管理和维护相对简单,而分布式数据库的管理和维护更为复杂,需要考虑系统的复杂性和管理成本。
能够保持一致性和完整性。应用场景:适用于需要处理大规模数据并发访问和跨地域分布式部署的场景,如大型互联网应用、金融服务、物联网应用等。联系与区别联系:分布式数据库分布式系统的一种特例,专注于数据的存储和管理。它们都采用了分布式架构,通过多个节点的协同工作来提高系统的性能和可用性。区别:分布式系统是一个更广泛的概念,可以包括分布式计算、分布式存储、分布式网络等多个领域,而分布式数据库仅专注于分布式系统和分布式数据库都是现代信息技术中的重要概念,它们在架构、目标和实现方式上有一些相似之处,但也存在显著的区别。以下是对它们的详细对比:分布式系统定义:分布式系统是由多个独立的计算机节点组成的等。分布式数据库定义:分布式数据库是一种将数据数据库操作分散到多个节点上的数据库管理系统。这些节点可以位于不同的地理位置或不同的硬件设备上,通过网络连接在一起,共同提供数据的存储、查询和更新服务数据库管理和数据存储。分布式数据库需要解决数据一致性、分布式事务等特有的问题,而分布式系统则更关注整体的架构设计、节点通信和任务调度等。分布式系统的应用场景更加广泛,而分布式数据库主要应用于需要高效数据管理和访问的场景。
索引是数据库中某些数据的冗余副本,目的是使查询性能更优。作为代价,数据库需要额外存储空间和较慢写入速度,因此决定哪些字段需要索引是一项重要且不易的任务。(新)StellarDB5.0.1版本不再对旧版本使用的manipulatecreate_index和manipulatedelete_index语法进行支持,在新版本中统一使用createindex和dropindex进行索引的创建和删除新增索引CREATEINDEX[IFNOTEXISTS]FOR(LabelName)ON[f1,f2,...];CREATEINDEX[IFNOTEXISTS]FOR[LabelName]ON[f1,f2,...];不支持对TIME_SERIES类型的属性创建索引默认情况下,对同一个Label的某个属性多次创建索引会报错;但如果带有IFNOTEXISTS,则不会抛出任何错误包裹点边LabelName的括号不同,注意区分示例1.在点labelperson的属性name和age上建立索引CREATEINDEXIFNOTEXISTSFOR(person)ON[name,age];示例2.在边labelask...
产品文档
4 快速入门
快速上手本章节将引导您快速熟悉StellarDB,并为您初步介绍如何通过KGExplorer和beeline客户端操作StellarDB。其中,"StellarDB初探"一节通过构建一张人物关系图,从零介绍如何在StellarDB进行基本操作;"StellarDB进阶"一节为您提供了内置于StellarDB的《哈利·波特》人物关系图,帮助您进一步探索StellarDB。StellarDB初探使用KGExplorer构建图从Manager页面进入KGExplorer页面。若KGExplorer开启了单点登录,会自动跳转Federation登录页面,按如图方式登录:KGExplorer用戶开启方法以及详细使用说明请查看章节《KGExplorer使用文档》。点击登录后进入KGExplorer主页面。我们首先需要构建图名为"hello_world"的图。在主页面右上角点击创建图按钮开始图谱schema的构建。按照引导填写图基本信息后点击确定进入构建页面。在画布中,我们为"hello_world"图创建Boy和Girl两种类型的点,两种类型的点均包含name、salary、age、single四...
产品文档
5.10 表达式
类型表达式类型例子十进制型整数10,-213十进制小数1.25,3.604E-14,-2.31十进制型长整数199345843592l,-12381543923L任意精度的有符号十进制数123bd,123.31BD八进制整数(0开头)084,-096字符串"星环",'信息科技'布尔类型true,false,TRUE,FALSE数组类型[1,2,3],["星环","信息科技"],[decimal(10.2,3,1),decimal(100.2,3,2)],[localdatetime("2021-01-18T09:50:12.627"),localdatetime("2021-11-18T03:50:12.113")]时间类型localdatetime("2021-01-18T09:50:12.627")Decimal类型decimal(10.2,3,1)地理空间类型point(20.5,30.5),point(-20.5,-30.5)时序类型{localdatetime("2023-01-01T15:16:17")::"nice"},{localdatetime("1997-01-01...
产品文档
7.1 自定义函数
StellarDB支持用户添加自定义函数,添加后可在cypher语句中使用。自定义函数实现自定义函数通过java/scala语言开发,可继承实现两种基类,编译成jar包,通过指定命令加载到StellarDB。需要实现的基类为如下两种,可自行选择继承合适的基类:继承UDF基类继承GenericUDF基类。继承UDF基类该类实现简单,功能较为单一。支持Quark的基本类型、数组和Map。适合实现简单的逻辑。继承org.apache.hadoop.hive.ql.exec.UDF类继承UDF类必须实现evaluate方法且返回值类型不能为void,支持定义多个evaluate方法不同参数列表用于处理不同类型数据。@Description(name="my_plus",value="my_plus()-ifstring,doconcat;ifinteger,doplus",extended="Example:\n>selectmy_plus('a','b');\n>ab\n>selectmy_plus(3,5);\n>8")/***实现UDF函数,若字符串执行拼接,in...
产品文档
5.12 变量声明
声明简介声明是指为特定数据类型的变量分配一定的存储空间,并命名该变量以便引用它;必须先声明变量,然后才能引用它;对声明的变量可以进行赋值操作来改变它的值;声明的变量其作用域是Session级别的。变量声明使用decl关键字声明一个变量必须为变量指定名称和类型,且名称不能与已有的变量名相同。声明但未赋值的变量的默认值为null。变量名声明对大小写敏感。变量声明的语句遵循如下格式:DECL[<variable_name>:<variable_type>];使用方法示例如下表所示:语句说明declx:int;声明一个类型为int的变量xdecls:string;声明一个类型为string的变量sdecll:long;声明一个类型为long的变量ldeclb:boolean;声明一个类型为boolean的变量bdecld:double;声明一个类型为double的变量ddecltime:localdatetime;声明一个类型为localdatetime的变量timedecld1:decimal;声明一个类型为decimal的变量d1decllist1:list[int...
通过beeline或JDBC时,设置参数configquery.langcypher;将查询语言切换为TEoC模式。根据使用场景选择查询模式(默认为immediate模式)immediate模式通常用于并发及短查询场景,查询结果和中间结果通常不超过百万。通过configcrux.execution.modeimmediate;切换。analysis模式通常用于分析场景,创建图、插入数据以及图算法相关的语句必须在该模式下进行。通过configcrux.execution.modeanalysis;切换。
为什么引入动态图模型?在实际应用过程中很容易可以发现,图数据在很多图数据的应用场景中并不是静态不变的,而是动态演进的,这些场景中包括例如金融反欺诈场景中金融交易网络随着时间的推进而发生的交易变化、交易社群变化等;又比如社交网络中新增用户、用户关注或者取消关注、更改账户信息等。将图数据变化的历史记录下来,不仅可以用于历史数据规律的总结,还可以利用动态图数据进行动态图神经网络相关技术的研究,从而进一步挖掘数据中潜在的数据价值和更加灵活高效的业务场景,譬如预测某一个时刻某一事件是否会发生。动态图模型的动态变化图数据的动态变化主要分为两类,一类是节点或边的属性的值的变化;另一类变化是子图(结构)的变化,如新增/删除点边。这两种图数据的动态变化可以单独发生,也可以同时发生。从图数据的属性变化角度来看,StellarDB5.0.1动态图模型可以记录图中节点或者边属性的所有历史版本(而非新数据覆盖旧数据)。在实际数据开发使用中,还可以结合诸如柱状图、趋势图等对历史数据进行可视化,更加直观、更加适合业务使用。从图数据的子图(结构)的角度来看,StellarDB5.0.1动态图模型还可以返回不同时间子图...
产品文档
3 安装 StellarDB
3.1在TDH平台安装StellarDB3.2StellarDB安装校验3.3StellarDB低版本升级至StellarDB5.0.1
产品文档
6.1 图计算
StellarDB5.0.1版本对图算法场景进行了大规模改进和提升,内置算法性能得到较大提升。在语法方面,StellarDB5.0.1的内置图算法对于返回的节点,会直接以节点类型返回。因此可以直接使用uid(vertex)访问节点的uid,而不再需要node_rk_to_uid函数进行uid的转换。可以参考PageRank等函数。另外,对于图算法返回的节点,我们也可以灵活的访问其其他属性作为返回值。图计算简介StellarDB的图计算使用TEoC语句调用相应图算法。算法的输入数据为图的点、边数据。当前版本中图计算支持结果返回、结果导出和结果写回。在使用图算法时,使用configcrux.execution.modeanalysis;语句切换到分析模式下使用图算法语句。图数据视图StellarDB支持创建一个可被持久化的视图,用于加速图算法执行过程。创建视图创建视图的语法如下所示:createquerytemporarygraphviewGRAPH_VIEW_NAMEas(v)[e]withGRAPH_ALGO(@GRAPH_VIEW_NAME,VIEW_STORE_PATH,CONFI...
本章节的示例语句均可在示例图my_graph中执行,执行前请先创建示例图my_graph,建图语句如下:creategraphmy_graphwithschema(:Boy{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})(:Girl{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})[:Friend{sinceint}][:Likes{sinceint}]graphproperties:{`graph.shard.number`:3,`graph.replication.number`:...