航空 数据流通解决方案

星环数据流通解决方案为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期的各个阶段，包括数据的收集、存储、使用、加工协作的安全。典型应用场景场景一：数据流通平台聚焦数据资源化、资产化改革，建立数据要素市场，搭建安全合规的数据交易流程。在整个数据要素流通过程中，使用流程可审计、可溯源，保障供需双方数据隐私安全。场景以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。方案优势：生态协作快速落地：星环是上海数据交易所首批“数商”，目前已有数百家合作伙伴、数千个落地案例。支持实体隐私保护：星环为客户提供全链路数据隐私保护方案，提供从数据采集、存储、加密、计算、建模的全数据链隐私保护。实现以数据为中心，做到事前可管可见、事中可知可防、事后可控可责。国产化适配企业级应用平台部署、云上部署等多种方式，能够快速部署应用。权威认证保障数据隐私安全：星环参与多项行业标准及白皮书的编写，进行发布并署名。产品拥有多项信通院认证证书，2021年更获得信通院隐私计算优秀案例奖。全链路数据

星环科技一站式数据要素流通解决方案，可为数据要素提供方和数据要素需求方提供安全隔离环境，解决供需双方和服务方主体间的安全与信任问题。星环数据安全流通平台由数据市场、隐私计算、数据沙箱、安全网关、安全治理等软件构成。供方可在数据安全流通平台上对数据进行安全治理与加工，并完成数据资源的登记与流通发布。需方可通过API调用、SQL开发、编程式建模、可视化建模、联邦学习、多方安全计算完成数据的开发、分析、计算与建模，实现“原始数据不出域，数据可用不可见”的数据可信、可控、可追溯目标。星环数据安全流通平台具备先进的数据安全技术，基于零信任技术架构，保障数据存储和传输过程的安全；支持上链存证，保证数据不可篡改，唯一可溯源；支持多种加密协议，例如同态加密、差分隐私等。

监测与审计、数据市场客户端、数据API网关消费端等主要功能，可以帮助客户实现数据采集、数据传输、数据存储、数据处理、数据流通、数据销毁全生命周期的数据安全防护。目前星环科技可信数据流通解决方案和产品已在多个行业客户落地应用，比如针对某银行客户在数据流通过程中遇到的隐私泄露、安全合规、数据资产价值难以发挥等痛点，星环科技提出数据合规流通解决方案，助力其建设金融风控平台。金融风控平台实施落地后，总行提供可信数据流通整体解决方案，为可信数据流通提供端到端的数据安全防护、数据安全治理、隐私保护与隐私计算技术，以及基于硬件安全防护的可信计算，保障数据可用不可见，助力数据要素安全可信流通。星环科技可信数据流通主要产品有数据安全管理平台Defensor、隐私计算平台SophonP²C、数据商城管理工具TranswarpForesight、数据审计工具TranswarpAudit、数据要素流通一体机。数据风险事件告警。提供各个系统间数据流转的动态安全防护能力，能够感知敏感数据泄露和异常数据操作行为，并根据安全策略来执行阻断行为。数据要素流通一体机：提供加密数据库、身份认证与权限控制、敏感血缘分析、数据

星环数据要素流通解决方案星环科技基于TDS和Sophon的多个产品打造了星环数据要素流通工具集，为数据资源方和数据消费方提供一系列的数据安全防护和隐私计算的能力，在各方数据不出域的前提下，提高数据流通强有力的算法支撑，但企业常常面临用户行为数据缺失，无法进行用户画像分析的情况。通过数据要素流通解决方案，企业可以与支付、社交应用企业合作，安全引入多方数据，丰富用户特征维度，对用户行为进行统计分析，能够防护能力，能够感知敏感数据泄露和异常数据操作行为，并根据安全策略来执行阻断行为方案优势数据流通过程中端到端的安全防护：使用Defensor的安全防护能力，对流通的数据采用动态脱敏、透明加密等方式实现隐私保护。使用Foresight对数据发布和申请流程进行审批和管控，利用Audit工具对数据流通过程中的可能的异常行为和数据泄露进行阻断。基于密码学保障的分布式隐私计算技术：使用了差分隐私、同态加密与审批功能：数据商城Foresight提供数据发布、审核与审批功能，让数据需求方可以方便地完成数据资源的发现、申请和使用数据流转动态安全防护能力：数据审计工具Audit提供各个系统间数据流转的动态安全

、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期的各个阶段，包括数据的收集、存储、使用、加工以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。逐渐从“以数据产品为主”向市场驱动的“以数据需求为主”转变，数据提供方趋向以数据需求作为入口与市场和用户接触。星环数据要素流通解决方案为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台数据流通是指以数据或数据中蕴含的价值作为对象，按照一定规则从数据提供方传递到数据需求方的过程。在数据要素市场建设的背景下，数据流通领域受到了更多的关注，对于数字经济的发展而言，数据流通具有非常重要的意义。数据流通的当前特点‌数据流通规则逐渐清晰‌：从政策指引到应用实践，各方均在积极探索建立健全数据流通规则。区块链等技术为数据流通中的验证、追溯、审计提供了有效保障。数据流通市场转变‌：数据流通市场

和保密性。星环数据要素流通解决方案为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期的各个阶段，包括数据的收集、存储、使用、加工以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。数据流通是按照一定规则，将存储的数据或者数据分析、挖掘得到的信息作为流通对象，从供应方传递到需求方的过程。数据流通的具体内容包括可视化的分析报告、面向运营人员的数据标签、面向应用可以直接调用的数据指标API、面向数据分析人员的数据集、面向数据挖掘人员的数据特征、和面向业务建模人员的单方或多方的建模模型等。基于数据水印、数据加密和脱敏、隐私计算、联邦学习的数据流通安全技术，可以提高数据流通的完整性

、交易对接、利益分配等具体流通环节的可行性。推动前沿技术研发与应用‌：大力推动隐私计算、区块链、人工智能等关键技术的研发与应用，构建数据流通的技术支撑体系。星环数据要素流通解决方案为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期的各个阶段，包括数据的收集、存储、使用、加工以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。数据流通是指以数据或数据中蕴含的价值作为对象，按照一定规则从数据提供方传递到数据需求方的过程。在数据要素市场建设的背景下，数据流通领域受到了更多的关注，对于数字经济的发展而言，数据流通具有非常重要的意义。完善数据流通的建议构建完善的制度框架‌：明确法律监管的边界，设立清晰的法律红线，确保监管合规的明确性。‌推进数据流通试点项目‌：鼓励具备条件的地区率先进行数据流通试点，探索数据权利确认、价值评估

数据要素流通解决方案为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期的各个阶段，包括数据的收集、存储、使用、加工以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。完善数据流通需要从多个方面入手，包括明确目标原则、加强基础设施建设、完善政策法规与监管机制、推动技术创新与应用、促进多方参与与合作以及加强数据安全与隐私保护等。明确数据流通的目标与原则首先，需要明确数据流通的目标，比如提高数据使用效率、促进数据价值释放等。同时，确立数据流通的基本原则，如合法合规、安全可控、公平交易等，以确保数据流通的稳健进行。加强基础设施建设‌提升数据传输效率‌：优化数据传输网络，提高带宽和降低延迟，确保数据能够快速、准确地流通。‌完善存储与处理设施‌：加强数据中心、云计算平台等基础设施建设，为数据的存储和处理提供有力支撑。完善政策法规与监管机制‌制定数据流通法规‌：建立数据产权、交易规则、跨境流动等方面的法律法规，为数据流通提供法制保障。‌加强监管与执法‌：建立健全数据流通的监管机制，对数据流通中的违规行为进行及时有效的监管和处罚。推动技术创新与应用‌利用先进技术保障

数据要素流通解决方案为了帮助企业发挥数据资产的价值，星环提供了覆盖云基础设施、数据平台、数据资源、数据应用的数据流通解决方案。该解决方案覆盖数据生命周期的各个阶段，包括数据的收集、存储、使用、加工以及流通。这种矩阵式的数据安全能力体系，可全方位保障客户的数据安全，支撑业务合法合规的开展。数据流通是指以数据或数据中蕴含的价值作为对象，按照一定规则从数据提供方传递到数据需求方的过程。在数据要素市场建设的背景下，数据流通领域受到了更多的关注，对于数字经济的发展而言，数据流通具有非常重要的意义。数据流通面临的挑战权属界定模糊‌：在数据的权属界定、价值评估、收益分配等方面都还未形成系统的框架，导致数据流通规则难以明确。‌合规标准不明确‌：尽管我国在推动数据要素流动的法律保障方面取得了显著进展，但在具体的数据流通模式、市场准入和监管机制等方面，仍缺乏明确的法律界定。隐私保护和数据安全问题‌：数据在采集、存储、传输及应用等各个环节均面临泄露风险，跨境数据流动增加，监管难度日益加大。星环

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...