HADOOP的国产化替代方案

国产化替代方案是指在特定领域或行业中，使用国内的技术、产品或服务来替代国外进口的方案。星环大数据基础软件国产化替代方案星环科技经过多年的自主研发，打造了全栈的大数据基础软件，并打磨了一系列国产化替代平滑迁移方案，能够更好帮助企业用户更高效、更平滑、更安全地实现国外进口产品的国产化替代，实现大数据基础软件的全面自主可控，并在产品架构、功能、性能、安全、运维、易用性等方面得到大幅提升。国产化替代的行业1000+用户应用落地。大数据平台：TDH国产化替代ClouderaDataHub春秋航空利用星环科技大数据基础平台替代了CDH大数据平台，一体化构建服务于整个企业的统一数据资源库，实现海量数据，同时数据批处理性能提升2倍以上，提升该农商银行对业务发展的数据支撑能力。交易型数据库：KunDB国产化替代Oracle某政府单位使用星环科技分布式交易型数据库KunDB替代了Oracle一体机复杂分析需求。此外，KunDB基于普通的服务器实现水平扩展，使得总成本节省50%。图数据库：StellarDB国产化替代Neo4j某证券公司使用星环科技分布式图数据库StellarDB替代了Neo4j

替代平滑迁移方案，能够更好帮助企业用户更高效、更平滑、更安全地实现国外进口产品的国产化替代，实现大数据基础软件的全面自主可控，并在产品架构、功能、性能、安全、运维、易用性等方面得到大幅提升。国产化国产化替代是指国内企业通过研发和技术创新，取代国外产品，实现国产化生产的过程。国产替代的实施不仅有助于实现国内产业迈向更高层次的发展，同时也能够提高国内企业的技术水平和管理水平，提升企业的核心竞争力。通过国产化替代，可以降低经对进口商品的依赖程度，减少出口的不稳定性和贸易摩擦，提升国家整体竞争力，推动社会经济的可持续发展。星环科技经过多年的自主研发，打造了全栈的大数据基础软件，并打磨了一系列国产化替代案例大数据平台：TDH国产化替代ClouderaDataHub春秋航空利用星环科技大数据基础平台替代了CDH大数据平台，一体化构建服务于整个企业的统一数据资源库，实现海量数据统一存储，打破不同部门间倍以上，提升该农商银行对业务发展的数据支撑能力。交易型数据库：KunDB国产化替代Oracle某政府单位使用星环科技分布式交易型数据库KunDB替代了Oracle一体机，KunDB兼容Oracle语法

星环科技经过多年的自主研发，打造了全栈的大数据基础软件，并打磨了一系列国产化替代平滑迁移方案，能够更好帮助企业用户更高效、更平滑、更安全地实现国外进口产品的国产化替代，实现大数据基础软件的全面自主负载，从根源上解决了目前在各业务领域存在的数据问题，同时数据批处理性能提升2倍以上，提升该农商银行对业务发展的数据支撑能力。交易型数据库：KunDB国产化替代Oracle某政府单位使用星环科技分布式事务处理和分析能力提升5~10倍，满足了对接新的互联网业务和复杂分析需求。此外，KunDB基于普通的服务器实现水平扩展，使得总成本节省50%。图数据库：StellarDB国产化替代Neo4j某证券公司使用星环科技分布式图数据库StellarDB替代了Neo4j，结合星环科技的知识图谱平台SophonKG助力该证券公司打造了全新的一站式国产化企业图谱，满足了企业级的系统建设需要，支撑集团客户画像、风险事件报告、科创板关联发现以及联机分析等应用场景，实现了分布式集群管理、统一的资源隔离与权限管理、计算性能的优化提升，以及丰富的可视化效果等。搜索引擎：Scope国产化替代Elasticsearch某政府

国产化替代是指通过自主研发和生产，逐步替代原先依赖进口的技术和产品，以实现关键技术和产品的自主可控。以下是关于它的详细介绍：目的保障国家经济安全：减少对进口产品的依赖，降低因国际贸易摩擦、供应链中断技术创新，加大对国产化替代项目的投资力度。技术创新：企业加大研发投入，加强与科研机构、高校等的合作，开展核心技术攻关，提高自主创新能力，掌握关键技术和知识产权。贸易措施：国家可采取一定的贸易保护措施，如加强关税管制、限制进口配额等，以限制国外竞争对本国产业的影响，为国内企业提供发展空间。应用领域信息技术领域：如芯片、操作系统、数据库等。以芯片为例，国内企业加大研发投入，努力提高芯片的国产化率，减少对技术和设备的国产化。我国在深海石油勘探开发装备等方面的国产化取得了一定进展。医疗设备领域：像高端医学影像设备、医用监护设备等。等外部因素对国家经济造成的冲击，确保国家在关键领域的供应稳定。推动产业升级转型：引导企业加大研发投入，提高技术创新能力，促进产业结构优化升级，推动产业向高端价值链方向发展。提升国际竞争力：提高本国产

可控能力，数集平台国产化替代是落实政策的重要举措。安全需求：使用国外数集平台可能存在数据泄露、后门等安全风险。国产化替代可将数据安全掌握在自己手中，满足企业对数据安全和隐私保护的要求。成本考量：国外数数集平台国产化替代是将国外数据集成平台替换为国产平台，以实现技术自主可控、保障数据安全等目标，以下是相关介绍：替代原因政策推动：国家“十四五”规划等政策鼓励企业采用国产技术和产品，以提升信息技术自主和应急预案。人员培训：使用国产数集平台，相关技术人员和业务人员需要重新学习和适应新的操作和功能，培训成本和难度较大。替代方案选择合适的国产数集平台技术能力：考察平台的数据采集、清洗、转换、存储、分析、数据库等基础软件的兼容性方面也更具优势。替代难点技术差距：尽管国产数集平台发展迅速，但与国际先进水平仍有一定差距，在大规模数据处理、复杂算法支持等方面可能存在不足。生态不完善：数集平台的应用离不开周边生态支持，如相关工具、插件等。国产数集平台的生态体系相对薄弱，可选择的扩展组件较少。迁移风险：将数据和业务从国外平台迁移到国产平台，可能面临数据丢失、格式不兼容、业务中断等风险，需要制定详细的迁移方案

替代方面，星环科技拥有成熟的基础软件替代解决方案，在分布式数据库、大数据基础平台TDH、搜索引擎Scope、智能分析工具Sophon等方面有诸多国产化替代成功实践，帮助用户实现自主可控的同时，在架构星环科技作为一家企业级大数据基础软件开发商，自成立以来，始终坚持自主研发与技术创新，积极参与信息产业国产化进程，是大数据基础软件国产化的重要推动者之一。目前星环科技已形成大数据与云基础平台、分布式、泰山等；支持飞腾、申威、龙芯、鲲鹏、海光等芯片架构；支持各类国产化中间件。星环科技已深度适配从底层芯片主机到操作系统，再到上层应用，均可支持在用户全信创软硬件环境下的7x24安全稳定运行。在国产化ArgoDB代码自主率（行数）分别超过90%。同时星环科技还积极融入信创生态，在信创生态的兼容度方面做了大量适配工作，产品支持主流的国产操作系统，如中标麒麟、银河麒麟、红旗、UOS等；支持主机平台如鲲鹏、宝德、功能、性能、安全、运维、易用性等方面实现大幅提升，满足客户业务的发展需求。星环科技在信创领域所做出的努力也获得了广泛认可：荣获工信部赛宝优选信创优秀解决方案奖；入选工信部网安中心“信息技术应用创新典型

业务价值。当前得益于国家政策的大力扶持以及国内市场环境的快速发展，国产软件加速发展，国产化替代进程正在不断加速。自主可控是国产化替代的核心，同时也是一个阶段性的目标。我们不应该满足于此，应该抓住国产化自主研发的国产分布式交易型数据库，提供完整的关系型数据库的能力，高度兼容MySQL和Oracle，可低成本实现数据库国产化的替代和迁移，具备可扩展、高并发、高可用、数据灾备等特性，满足企业关键业务处理图展示能力。可以帮助用户快速开发欺诈检测、推荐引擎、社交网络分析、知识图谱等应用。某证券公司基于StellarDB实现了原Neo4j的国产化替代，结合星环科技自研的知识图谱平台SophonKG打造了全新的图谱管理平台，实现实现分布式集群管理、统一的资源隔离与权限管理、计算性能的优化提升以及丰富的可视化效果等。除了三种数据库方面的国产化替代实践，星环科技还在大数据基础平台TDH、搜索引擎Scope、智能分析工具Sophon等方面有诸多国产化替代成功实践，帮助用户实现自主可控的同时，在架构、功能、性能、安全、运维、易用性等方面实现大幅提升，满足企业业务的发展需求。星环科技还积极融入信创生态，在信

数据库作为提供数据存储与处理能力的基础软件，是信息系统的基础、信息安全的基石，因此，数据库自主可控和国产化替代已经刻不容缓。兼容性是国产化替代关键，自研数据库更具潜力Oracle数据库发展较早，在Oracle数据库的国产化替代，除了要能够提供在性能、容灾能力、安全能力等方面全方位提供对等的能力，首先要解决的就是如何兼容Oracle的大量SQL方言，尤其是Oracle的PL/SQL这一独特的广受欢迎的自主研发的国产分布式交易型数据库，提供完整的关系型数据库的能力，高度兼容MySQL和Oracle，可低成本实现数据库国产化的替代和迁移，具备可扩展、高并发、高可用、数据灾备等特性，满足企业关键业务处理Oracle，实现低成本国产化平滑替代KunDB对Oracle语法各个方面高度兼容，成为业内领先的具备支撑Oracle业务迁移能力的国产数据库。KunDB高度兼容Oracle语法与PL/SQL，支持，高效、低成本、安全地保障了原数据库迁移，平滑实现了数据库系统的国产化替代。创新过程语言编译技术，完整支持OraclePL/SQL语法KunDB自研创新的过程语言编译技术及中间优化语言TIR，支持复杂

数据库的国产化替代是IT系统国产化“顽固”的堡垒！对数据库领域应用广、市场份额大的Oracle数据库的替代更是一个攻坚战。所幸的是，不管是在传统的关系型数据库领域，还是新型的非关系型数据库领域，面对用户不断增加的新需求，国产数据库表现出更多的自信，开始慢慢替代不可一世的Oracle数据库。国产数据库的依靠自身的技术实力，化解了Oracle数据库替代中的一道道难关，既以低成本实现数据库国产化的替代和迁移，又为用户提供高性能、稳定可靠、经济实用、自主可控的国产化数据库产品。星环科技自主研发的国产分布式交易型数据库KunDB，在替代国外数据库方面，以高度兼容MySQL和Oracle，提供完整的关系，但没有体系化的兼容Oracle，尤其是PL/SQL方面。要实现Oracle数据库的国产化替代，首先要解决的就是兼容Oracle的大量SQL方言。星环KunDB对Oracle语法各个方面高度兼容，成为，实现了数据库系统的国产化替代。满足新需求，性能表现出更出色在面对用户新业务需求时，星环KunDB性能表现出色，如拥有90%的水平性能扩展比，自研内存数据库引擎单机性能超过180万tpmC，支持百亿行

类型表达式类型例子十进制型整数10,-213十进制小数1.25,3.604E-14,-2.31十进制型长整数199345843592l,-12381543923L任意精度的有符号十进制数123bd,123.31BD八进制整数(0开头)084,-096字符串"星环",'信息科技'布尔类型true,false,TRUE,FALSE数组类型[1，2，3],["星环","信息科技"],[decimal(10.2,3,1),decimal(100.2,3,2)],[localdatetime("2021-01-18T09:50:12.627"),localdatetime("2021-11-18T03:50:12.113")]时间类型localdatetime("2021-01-18T09:50:12.627")Decimal类型decimal(10.2,3,1)地理空间类型point(20.5,30.5),point(-20.5,-30.5)时序类型{localdatetime("2023-01-01T15:16:17")::"nice"},{localdatetime("1997-01-01...

快速上手本章节将引导您快速熟悉StellarDB，并为您初步介绍如何通过KGExplorer和beeline客户端操作StellarDB。其中，"StellarDB初探"一节通过构建一张人物关系图，从零介绍如何在StellarDB进行基本操作；"StellarDB进阶"一节为您提供了内置于StellarDB的《哈利·波特》人物关系图，帮助您进一步探索StellarDB。StellarDB初探使用KGExplorer构建图从Manager页面进入KGExplorer页面。若KGExplorer开启了单点登录，会自动跳转Federation登录页面，按如图方式登录：KGExplorer用戶开启方法以及详细使用说明请查看章节《KGExplorer使用文档》。点击登录后进入KGExplorer主页面。我们首先需要构建图名为"hello_world"的图。在主页面右上角点击创建图按钮开始图谱schema的构建。按照引导填写图基本信息后点击确定进入构建页面。在画布中，我们为"hello_world"图创建Boy和Girl两种类型的点，两种类型的点均包含name、salary、age、single四...

为什么引入动态图模型？在实际应用过程中很容易可以发现，图数据在很多图数据的应用场景中并不是静态不变的，而是动态演进的，这些场景中包括例如金融反欺诈场景中金融交易网络随着时间的推进而发生的交易变化、交易社群变化等；又比如社交网络中新增用户、用户关注或者取消关注、更改账户信息等。将图数据变化的历史记录下来，不仅可以用于历史数据规律的总结，还可以利用动态图数据进行动态图神经网络相关技术的研究，从而进一步挖掘数据中潜在的数据价值和更加灵活高效的业务场景，譬如预测某一个时刻某一事件是否会发生。动态图模型的动态变化图数据的动态变化主要分为两类，一类是节点或边的属性的值的变化；另一类变化是子图（结构）的变化，如新增/删除点边。这两种图数据的动态变化可以单独发生，也可以同时发生。从图数据的属性变化角度来看，StellarDB5.0.1动态图模型可以记录图中节点或者边属性的所有历史版本（而非新数据覆盖旧数据）。在实际数据开发使用中，还可以结合诸如柱状图、趋势图等对历史数据进行可视化，更加直观、更加适合业务使用。从图数据的子图（结构）的角度来看，StellarDB5.0.1动态图模型还可以返回不同时间子图...

StellarDB支持用户添加自定义函数，添加后可在cypher语句中使用。自定义函数实现自定义函数通过java/scala语言开发，可继承实现两种基类，编译成jar包，通过指定命令加载到StellarDB。需要实现的基类为如下两种，可自行选择继承合适的基类：继承UDF基类继承GenericUDF基类。继承UDF基类该类实现简单，功能较为单一。支持Quark的基本类型、数组和Map。适合实现简单的逻辑。继承org.apache.hadoop.hive.ql.exec.UDF类继承UDF类必须实现evaluate方法且返回值类型不能为void，支持定义多个evaluate方法不同参数列表用于处理不同类型数据。@Description(name="my_plus",value="my_plus()-ifstring,doconcat;ifinteger,doplus",extended="Example:\n>selectmy_plus('a','b');\n>ab\n>selectmy_plus(3,5);\n>8")/***实现UDF函数，若字符串执行拼接，in...

通过beeline或JDBC时，设置参数configquery.langcypher;将查询语言切换为TEoC模式。根据使用场景选择查询模式（默认为immediate模式）immediate模式通常用于并发及短查询场景，查询结果和中间结果通常不超过百万。通过configcrux.execution.modeimmediate;切换。analysis模式通常用于分析场景，创建图、插入数据以及图算法相关的语句必须在该模式下进行。通过configcrux.execution.modeanalysis;切换。

StellarDB5.0.1版本对图算法场景进行了大规模改进和提升，内置算法性能得到较大提升。在语法方面，StellarDB5.0.1的内置图算法对于返回的节点，会直接以节点类型返回。因此可以直接使用uid(vertex)访问节点的uid，而不再需要node_rk_to_uid函数进行uid的转换。可以参考PageRank等函数。另外，对于图算法返回的节点，我们也可以灵活的访问其其他属性作为返回值。图计算简介StellarDB的图计算使用TEoC语句调用相应图算法。算法的输入数据为图的点、边数据。当前版本中图计算支持结果返回、结果导出和结果写回。在使用图算法时，使用configcrux.execution.modeanalysis;语句切换到分析模式下使用图算法语句。图数据视图StellarDB支持创建一个可被持久化的视图，用于加速图算法执行过程。创建视图创建视图的语法如下所示：createquerytemporarygraphviewGRAPH_VIEW_NAMEas(v)[e]withGRAPH_ALGO(@GRAPH_VIEW_NAME,VIEW_STORE_PATH,CONFI...

索引是数据库中某些数据的冗余副本，目的是使查询性能更优。作为代价，数据库需要额外存储空间和较慢写入速度，因此决定哪些字段需要索引是一项重要且不易的任务。（新）StellarDB5.0.1版本不再对旧版本使用的manipulatecreate_index和manipulatedelete_index语法进行支持，在新版本中统一使用createindex和dropindex进行索引的创建和删除新增索引CREATEINDEX[IFNOTEXISTS]FOR(LabelName)ON[f1,f2,...];CREATEINDEX[IFNOTEXISTS]FOR[LabelName]ON[f1,f2,...];不支持对TIME_SERIES类型的属性创建索引默认情况下,对同一个Label的某个属性多次创建索引会报错;但如果带有IFNOTEXISTS,则不会抛出任何错误包裹点边LabelName的括号不同，注意区分示例1.在点labelperson的属性name和age上建立索引CREATEINDEXIFNOTEXISTSFOR(person)ON[name,age];示例2.在边labelask...

3.1在TDH平台安装StellarDB3.2StellarDB安装校验3.3StellarDB低版本升级至StellarDB5.0.1

本章节的示例语句均可在示例图my_graph中执行，执行前请先创建示例图my_graph，建图语句如下:creategraphmy_graphwithschema(:Boy{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})(:Girl{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})[:Friend{sinceint}][:Likes{sinceint}]graphproperties:{`graph.shard.number`:3,`graph.replication.number`:...

声明简介声明是指为特定数据类型的变量分配一定的存储空间，并命名该变量以便引用它；必须先声明变量，然后才能引用它；对声明的变量可以进行赋值操作来改变它的值；声明的变量其作用域是Session级别的。变量声明使用decl关键字声明一个变量必须为变量指定名称和类型，且名称不能与已有的变量名相同。声明但未赋值的变量的默认值为null。变量名声明对大小写敏感。变量声明的语句遵循如下格式:DECL[<variable_name>:<variable_type>];使用方法示例如下表所示：语句说明declx:int;声明一个类型为int的变量xdecls:string;声明一个类型为string的变量sdecll:long;声明一个类型为long的变量ldeclb:boolean;声明一个类型为boolean的变量bdecld:double;声明一个类型为double的变量ddecltime:localdatetime;声明一个类型为localdatetime的变量timedecld1:decimal;声明一个类型为decimal的变量d1decllist1:list[int...