分布式分析型数据库的技术

数据分析型业务场景的国产化分布式多模数据库,能够一站式替代Hadoop+MPP混合架构,提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力，一站式满足数据分布式关系型数据库有哪些？星环科技在基础软件产品领域积累多年,在大数据平台TDH的研发过程中积累了大量的SOL、PL/SOL、数据库优化器、分布式事务等基础技术和专利,相关的技术优势可以在关系数据库中再次落地,从而加速分布式数据库的研发效率。采用新一代的基于分布式计算的数据库技术,自主研发了分布式交易型数据库KunDB和分布式数据库ArgoDB。基于KunDB与ArgoDB的数据库解决方案,为基准测试并经过TPC官方审计的数据库产品。TranswarpKunDB-星环分布式交易型数据库TranswarpKunDB是星环科技基于分布式技术自主研发的分布式交易型数据库,提供完整的关系型数据库的企业核心业务数据库升级改造、核心分析系统建设、创新应用开发国产化替代等业务场景提供完备的能力支撑。TranswarpArgoDB-星环分布式数据库TranswarpArgoDB是星环科技自主研发的面向

-TranswarpArgoDBTranswarpArgoDB是星环科技自主研发的分布式分析型闪存数据库，可以替代Hadoop+MPP混合架构。支持标准SQL语法，提供多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等数据的高实时性检索等场景。星环分布式图数据库-TranswarpStellarDBTranswarpStellarDB是星环科技自主研发的企业级分布式图数据库，提供高性能的图存储、计算、分析、查询和星环科技推出的一款分布式时空数据库，支持空间地理、时空轨迹、遥感影像等海量数据的存储、查询、分析和挖掘服务。Spacture具备高性能数据读写和分析能力。支持OGC标准图形类型和空间关系，兼容常见的控等场景。星环分布式时序数据库-TranswarpTimeLyreTranswarpTimeLyre是星环科技推出的一款时序数据库，提供海量时间序列数据的高效压缩存储和高性能分析服务。TimeLyre数据库产品，目前已在各行各业成功替代Oracle、DB2、Teradata等国外产品。星环分布式交易型数据库-TranswarpKunDBKunDB是星环科技自主研发的分布式交易型数据库，具备高度兼容

星环科技自研的国产化分布式关系数据库，通过分布式存储、SQL编译与优化等数据库技术，结合云计算的优势做资源管理和调度，实现了关系型数据库的完整功能。在事务处理场景和复杂分析场景，都通过技术创新获得了，通过分析增强还能响应批处理和复杂分析场景支持海量数据分布式计算：分析型数据库产品ArgoDB通过列存储和分布式计算技术，支持对海量数据进行分布式计算，支撑企业数据仓库、数据湖业务覆盖企业数据交易、分析性能优势。同星环配套的数据库工具软件和云平台产品为用户提供高可用、高可靠和安全的国产化数据库完整解决方案。分布式关系型数据库处理高并发数据读写业务：能够处理高并发的数据读写业务，并提供全局一致性保证场景：通过KunDB和ArgoDB可以组建企业统一数据库解决方案，覆盖企业数据交易、分析场景性能高，服务可靠：KunDB与ArgoDB之间基于数据库日志进行高效的数据同步，相比异构数据库之间的ETL方案，链路短，性能高，服务可靠

分布式关系型数据库是一种将数据分散存储在多个物理或逻辑节点上的数据库系统，它具有以下特点和应用场景：特点：数据分布存储：数据被分散存储在多个节点上，通过网络连接来实现数据的共享和访问。高可扩展性数据一致性问题，确保在不同节点间的数据保持一致。支持SQL查询：许多分布式关系型数据库支持SQL查询，便于数据操作和事务管理。水平扩展：通过数据分片实现水平扩展，提高系统的整体性能和可用性。应用，提供高可用性和可扩展性。大数据分析：通过对海量数据的分布式存储和查询，快速获取有价值的信息，支持数据挖掘和机器学习等技术。：能够通过增加节点来扩展存储容量和处理能力，以应对数据量的增长。高并发性：支持大量并发访问，适用于需要高并发处理的场景。高可用性：通过数据复制和故障转移机制，提高系统的可用性和容错性。数据一致性：需要解决场景：互联网和电子商务平台：处理大量用户生成的数据和实时互动，需要高并发处理能力和数据的快速读写。金融行业：在支付、转账等金融交易中，需要保证数据的一致性和事务性。物联网：满足设备之间的连接和数据交换需求

通常支持多种事务和操作，如多表关联查询、事务控制、ACID特性等，可以作为企业核心业务的重要数据存储和处理技术。分布式关系型数据库的优点包括高可用性、高性能、可扩展性、负载均衡、数据安全和容错能力等，在交易型数据库KunDB和分布式数据库ArgoDB。基于KunDB与ArgoDB的数据库解决方案,为企业核心业务数据库升级改造、核心分析系统建设、创新应用开发国产化替代等业务场景提供完备的能力支撑。什么是分布式关系型数据库？分布式关系型数据库（DistributedRelationalDatabase）是指将关系型数据库分布在不同的服务器或计算机上，以处理大数据量和高并发性的要求，并通过网络进行数据交换和通信，以达到高可用性、高性能和可扩展性的目的。分布式关系型数据库通常由多个数据库实例组成，每个实例分布在不同的机器上，并通过复杂的协议和通信机制实现数据同步和故障恢复。分布式关系型数据库选择和实现分布式关系型数据库时，需要综合考虑各种因素，包括数据规模、业务需求、安全性、成本和维护难度等。星环分布式关系型数据库星环科技在基础软件产品领域积累多年,在大数据平台TDH的研发过程中积累

。数据完整性保证：它采用一系列机制来保证数据的完整性，如多副本数据复制、数据冗余和容错机制，确保数据的可靠性和一致性。分布式交易型数据库通常会采用分布式架构和高可用技术，使用分布式事务协议来处理跨节点的数据更新操作，利用缓存技术和预读预写等优化策略提高读写性能。同时，它还需要具备水平扩展和负载均衡等能力，以适应大规模的数据和用户访问需求。星环分布式交易型数据库-TranswarpKunDBKunDB是分布式交易型数据库指实时的、面向应用的分布式数据库，响应及时性要求很高，具备快速读写单行数据的能力，同时保证数据完整性。分布式交易型数据库是一种专注于处理高并发实时交易的分布式数据库系统。它主要用于需要高响应性能和数据完整性的应用场景，例如金融交易、电子商务等。分布式交易型数据库具备以下特点：实时性要求高：它需要满足实时性要求，能够快速响应用户提交的交易请求，即时处理数据更新。面向应用：它提供了星环科技自主研发的分布式交易型数据库，具备高度兼容Oracle和MySQL、高可用、高性能、集中式与分布式一体化等特性，为企业核心业务系统提供完备的国产化数据库能力支撑。基于自研内存数据库引擎

分布式交易型数据库中，每台服务器上都有一份数据，交易型数据库会自动地将数据同步到其他节点中，以保证数据的一致性。国产分布式交易型数据库-KunDBKunDB是星环科技基于分布式技术自主研发的国产化的交易型数据库，提供完整的关系型数据库的能力，高度兼容SQL，保证事务ACID。KunDB具有业内领先的事务处理性能，SQL兼容性以及新的分布式查询优化技术，支持复杂查询且性能是MySQL的10倍以上，充分什么是分布式交易型数据库？分布式交易型数据库是指把一个交易型数据库分布在多台服务器上，使得多台服务器上的交易型数据库协同工作，以实现多个并发操作的高性能、高并发性、强数据一致性和可扩展性等特性。在，KunDB提供全链路高可用、一致性备份恢复等容灾能力，以及完备的安全管理、资源管理能力，可以为不同业务场景保驾护航。而且KunDB已经通过了工信部分布式数据库测试、央行数据库标准测试等多项权威测试认证满足高并发、大数据量的交易型业务场景，能够实现MySQL，Oracle等传统主流数据库的国产化替代。独特的混合部署技术支持主流国产化CPU等自主可控的硬件平台和OS部署，满足国产化部署需求。此外

分布式数据库和关系型数据库在架构、数据模型、事务管理、一致性和可扩展性等方面有显著的区别。以下是它们的主要对比：关系型数据库数据模型：关系模型：使用表格（表）来组织数据，表由行和列组成。数据之间的，适合处理大规模数据和高并发请求。动态扩展：许多分布式数据库支持在线扩展，即在系统运行时增加或减少节点，而不需要停机。适用场景：适合大规模数据存储和高并发访问的场景，如大型互联网应用、大数据分析、分布式事务处理等。总结选择依据：数据一致性和事务管理要求：如果业务对数据一致性和事务管理要求非常高，关系型数据库可能更合适。数据规模和并发需求：如果需要处理大规模数据和高并发请求，分布式数据库是更好的选择。灵活性和可扩展性需求：如果需要灵活的可扩展性和支持多种数据模型，分布式数据库更具优势。系统复杂性和管理成本：关系型数据库的管理和维护相对简单，而分布式数据库的管理和维护更为复杂，需要考虑系统的复杂性和管理成本。分布式数据库灵活和高效。适用场景：适合需要严格事务管理和数据一致性的应用，如金融系统、企业资源规划（ERP）系统等。分布式数据库数据模型：多种数据模型：可以支持关系模型，也可以支持NoSQL数据模型，具体

IDC发布了《IDCMarketScape中国分布式关系型数据库2023厂商评估》，聚焦中国分布式关系型数据库的技术提供商，针对入选厂商的战略、能力进行评估，从而形成IDCMarketScape综合行业终端用户选择分布式关系型数据库技术提供商及伙伴提供参考。星环科技等厂商进入此次报告。报告认为，头部厂商在分布式关系型数据库市场中重点聚焦金融行业。多数厂商未来的产品战略方向是基于大模型、机器学习等AI技术的智能运维，以提高运维效率，降低运维成本，并为企业提供更加个性化的服务。目前，生态建设是大部分数据库厂商的短板。降本增效在分布式关系型数据库的应用中已初具成效。评分体系。通过IDC分析师对厂商和终用户的深入访谈，集中分析并确定各服务商在IDCMarketScape中的相对位置，并探讨各供应商的优势及战略思路，总结市场发展现状与痛点趋势，为数字内容的提供者与

本章节的示例语句均可在示例图my_graph中执行，执行前请先创建示例图my_graph，建图语句如下:creategraphmy_graphwithschema(:Boy{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})(:Girl{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})[:Friend{sinceint}][:Likes{sinceint}]graphproperties:{`graph.shard.number`:3,`graph.replication.number`:...

StellarDB5.0.1版本对图算法场景进行了大规模改进和提升，内置算法性能得到较大提升。在语法方面，StellarDB5.0.1的内置图算法对于返回的节点，会直接以节点类型返回。因此可以直接使用uid(vertex)访问节点的uid，而不再需要node_rk_to_uid函数进行uid的转换。可以参考PageRank等函数。另外，对于图算法返回的节点，我们也可以灵活的访问其其他属性作为返回值。图计算简介StellarDB的图计算使用TEoC语句调用相应图算法。算法的输入数据为图的点、边数据。当前版本中图计算支持结果返回、结果导出和结果写回。在使用图算法时，使用configcrux.execution.modeanalysis;语句切换到分析模式下使用图算法语句。图数据视图StellarDB支持创建一个可被持久化的视图，用于加速图算法执行过程。创建视图创建视图的语法如下所示：createquerytemporarygraphviewGRAPH_VIEW_NAMEas(v)[e]withGRAPH_ALGO(@GRAPH_VIEW_NAME,VIEW_STORE_PATH,CONFI...

通过beeline或JDBC时，设置参数configquery.langcypher;将查询语言切换为TEoC模式。根据使用场景选择查询模式（默认为immediate模式）immediate模式通常用于并发及短查询场景，查询结果和中间结果通常不超过百万。通过configcrux.execution.modeimmediate;切换。analysis模式通常用于分析场景，创建图、插入数据以及图算法相关的语句必须在该模式下进行。通过configcrux.execution.modeanalysis;切换。

快速上手本章节将引导您快速熟悉StellarDB，并为您初步介绍如何通过KGExplorer和beeline客户端操作StellarDB。其中，"StellarDB初探"一节通过构建一张人物关系图，从零介绍如何在StellarDB进行基本操作；"StellarDB进阶"一节为您提供了内置于StellarDB的《哈利·波特》人物关系图，帮助您进一步探索StellarDB。StellarDB初探使用KGExplorer构建图从Manager页面进入KGExplorer页面。若KGExplorer开启了单点登录，会自动跳转Federation登录页面，按如图方式登录：KGExplorer用戶开启方法以及详细使用说明请查看章节《KGExplorer使用文档》。点击登录后进入KGExplorer主页面。我们首先需要构建图名为"hello_world"的图。在主页面右上角点击创建图按钮开始图谱schema的构建。按照引导填写图基本信息后点击确定进入构建页面。在画布中，我们为"hello_world"图创建Boy和Girl两种类型的点，两种类型的点均包含name、salary、age、single四...

声明简介声明是指为特定数据类型的变量分配一定的存储空间，并命名该变量以便引用它；必须先声明变量，然后才能引用它；对声明的变量可以进行赋值操作来改变它的值；声明的变量其作用域是Session级别的。变量声明使用decl关键字声明一个变量必须为变量指定名称和类型，且名称不能与已有的变量名相同。声明但未赋值的变量的默认值为null。变量名声明对大小写敏感。变量声明的语句遵循如下格式:DECL[<variable_name>:<variable_type>];使用方法示例如下表所示：语句说明declx:int;声明一个类型为int的变量xdecls:string;声明一个类型为string的变量sdecll:long;声明一个类型为long的变量ldeclb:boolean;声明一个类型为boolean的变量bdecld:double;声明一个类型为double的变量ddecltime:localdatetime;声明一个类型为localdatetime的变量timedecld1:decimal;声明一个类型为decimal的变量d1decllist1:list[int...

索引是数据库中某些数据的冗余副本，目的是使查询性能更优。作为代价，数据库需要额外存储空间和较慢写入速度，因此决定哪些字段需要索引是一项重要且不易的任务。（新）StellarDB5.0.1版本不再对旧版本使用的manipulatecreate_index和manipulatedelete_index语法进行支持，在新版本中统一使用createindex和dropindex进行索引的创建和删除新增索引CREATEINDEX[IFNOTEXISTS]FOR(LabelName)ON[f1,f2,...];CREATEINDEX[IFNOTEXISTS]FOR[LabelName]ON[f1,f2,...];不支持对TIME_SERIES类型的属性创建索引默认情况下,对同一个Label的某个属性多次创建索引会报错;但如果带有IFNOTEXISTS,则不会抛出任何错误包裹点边LabelName的括号不同，注意区分示例1.在点labelperson的属性name和age上建立索引CREATEINDEXIFNOTEXISTSFOR(person)ON[name,age];示例2.在边labelask...

3.1在TDH平台安装StellarDB3.2StellarDB安装校验3.3StellarDB低版本升级至StellarDB5.0.1

类型表达式类型例子十进制型整数10,-213十进制小数1.25,3.604E-14,-2.31十进制型长整数199345843592l,-12381543923L任意精度的有符号十进制数123bd,123.31BD八进制整数(0开头)084,-096字符串"星环",'信息科技'布尔类型true,false,TRUE,FALSE数组类型[1，2，3],["星环","信息科技"],[decimal(10.2,3,1),decimal(100.2,3,2)],[localdatetime("2021-01-18T09:50:12.627"),localdatetime("2021-11-18T03:50:12.113")]时间类型localdatetime("2021-01-18T09:50:12.627")Decimal类型decimal(10.2,3,1)地理空间类型point(20.5,30.5),point(-20.5,-30.5)时序类型{localdatetime("2023-01-01T15:16:17")::"nice"},{localdatetime("1997-01-01...

StellarDB支持用户添加自定义函数，添加后可在cypher语句中使用。自定义函数实现自定义函数通过java/scala语言开发，可继承实现两种基类，编译成jar包，通过指定命令加载到StellarDB。需要实现的基类为如下两种，可自行选择继承合适的基类：继承UDF基类继承GenericUDF基类。继承UDF基类该类实现简单，功能较为单一。支持Quark的基本类型、数组和Map。适合实现简单的逻辑。继承org.apache.hadoop.hive.ql.exec.UDF类继承UDF类必须实现evaluate方法且返回值类型不能为void，支持定义多个evaluate方法不同参数列表用于处理不同类型数据。@Description(name="my_plus",value="my_plus()-ifstring,doconcat;ifinteger,doplus",extended="Example:\n>selectmy_plus('a','b');\n>ab\n>selectmy_plus(3,5);\n>8")/***实现UDF函数，若字符串执行拼接，in...

为什么引入动态图模型？在实际应用过程中很容易可以发现，图数据在很多图数据的应用场景中并不是静态不变的，而是动态演进的，这些场景中包括例如金融反欺诈场景中金融交易网络随着时间的推进而发生的交易变化、交易社群变化等；又比如社交网络中新增用户、用户关注或者取消关注、更改账户信息等。将图数据变化的历史记录下来，不仅可以用于历史数据规律的总结，还可以利用动态图数据进行动态图神经网络相关技术的研究，从而进一步挖掘数据中潜在的数据价值和更加灵活高效的业务场景，譬如预测某一个时刻某一事件是否会发生。动态图模型的动态变化图数据的动态变化主要分为两类，一类是节点或边的属性的值的变化；另一类变化是子图（结构）的变化，如新增/删除点边。这两种图数据的动态变化可以单独发生，也可以同时发生。从图数据的属性变化角度来看，StellarDB5.0.1动态图模型可以记录图中节点或者边属性的所有历史版本（而非新数据覆盖旧数据）。在实际数据开发使用中，还可以结合诸如柱状图、趋势图等对历史数据进行可视化，更加直观、更加适合业务使用。从图数据的子图（结构）的角度来看，StellarDB5.0.1动态图模型还可以返回不同时间子图...