车企 数据治理 案例

央企行业数据治理是央企在数字化转型过程中的关键任务，以下是关于它的一些重要内容：数据治理的背景与意义内部管控要求：央企内部系统众多，需要统一规则、建立数据标准、消除数据孤岛，避免重复建设，为领导经营决策提供支撑。外部市场需求：国家对数据要素的政策引导和各地数据交易所的成立，使得数据交易流通热度升高，对数据质量要求也越来越高，央企需充分利用数据资源要素，推动数字经济发展。数据治理的关键环节数据梳理管理：针对央企“数据入口多、重复录入、一物多码、多码一物”等问题，建立主数据管理系统，统一编码、描述、维护和应用，对主数据进行全生命周期管理。元数据管理：构建元数据的采集、变更等全过程管理，支持主流数据：从组织、业务、系统等维度对数据开展全面梳理，评估数据的唯一性、完整性等，形成数据资产管理清单，将管理制度与规范嵌入流程。数据采集：采集分布在各业务系统中的数据，支持多种数据源，包括内部、外部，结构化、非结构化、半结构化数据等，具备数据处理和清洗加工能力。数据存储：采用多种存储方式存储不同类型数据，通过低代码平台的集成引擎建立数据模型，让数据互联互通，形成可分析的聚合数据视图。数据管理主数据

一个管理体系，包括组织、制度、流程、工具，其终目标是提升数据的价值，是企业实现数字战略的基础。数据治理案例一：某大型央企星环科技助力某大型央企进行数字化、智能化的数据建设和数据管理。对企业整体数据治理标准，盘点数据资产进行认责，开发重点数据应用，让数据真正成为资产，向各级用户提供随需共享和智能数据服务。数据治理成为释放数据价值的新引擎。数据治理案例二：某航空公司星环科技全面协助客户开展企业级数据数据治理培训，提高企业自身数据管理水平。并将治理工作落实到数据管理平台中，提升了主数据、元数据的管理水平，通过敏捷化的数据专项治理，以及数据资产价值评估，将数据价值和数据管理价值体现出来。数据治理案例三数据治理（DataGovernance）是组织中涉及数据使用的一整套管理行为，由企业数据治理部门发起并推行，关注如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是治理工作，搭建数据治理体系，盘点全企业数据资产，编制企业级数据标准、搭建全域数据架构、完成全部数据资产认责，制定了数据质量规则并发布数据质量报告，促进数据质量的提升，同时，制定了各项管理流程，开展

政务民生领域的应用”入选《2022年度隐私计算优秀案例TOP10》榜单。该榜单经由高校科研院所、行业有影响力的机构和个人组成专家评审委员会评选出。数据作为新型生产要素，对人们生产方式、生活方式、社会治理造成的消防、安全隐患，打造和谐、安全、美丽的生活环境作出了突出贡献，为政务决策、民生建设发挥信息化支撑保障作用。在精准营销场景，通过纵向联邦学习，车企安全引入了多方数据，丰富用户特征维度，对用户行为进行统计分析。在联合建模过程中，全程明文数据不出本地，有效保护了车企与支付机构的数据隐私信息。此外，在挖掘目标用户，并对用户意向进行精准触达，节约推广成本的同时，有效提升了广告转化率，摆脱传统广告投放模式的高成本束缚，使低成本快速增长成为可能。该案例样本量达亿级，指标维度近千个。同时星环科技SophonP²C还曾获信通院多方安全计算性能专项测评证书、联邦学习基础能力专项测评证书、卓信大数据联邦学习安全评估专项证书，以及信通院星河案例隐私计算优秀案例等多项认证和荣誉。随着隐私技术产品的技术能力和应用模式越发成熟，隐私计算将有助于构建数据流通的基础设施，在保证安全的前提下有效持续释放数据要素价值，促进数字经济高质量发展。

近日，“2021年上海市高新技术企业协会十大AI应用案例”评选结果出炉，星环科技“基于大数据与AI技术的石油化工应急指挥与工艺监测案例”、“基于数据云和人工智能技术的智慧地铁案例”双双入选，星环科技独占两席。上海高新技术企业十大AI应用案例，是上海市高新技术企业协会人工智能专业委员会为落实上海“新基建35条”及城市数字化转型战略，挖掘、推广优秀科技成果而发起的。入选案例覆盖了工业、交通、金融、管理等多个行业和服务领域，皆为上海市优秀人工智能高新技术企业在近两年内运用了数字孪生、大数据、人工智能、知识图谱等新技术，并取得良好落地成效、创造客观经济效益的项目。星环科技此次独占两席，既彰显了在大数据、人工智能等领域的技术创新实力，也体现了星环科技在推进新技术与实体经济深度融合，赋能产业升级方面的重大作用。当前以人工智能、大数据等为代表的新一代信息技术正在蓬勃发展，然而技术只有落地才能确切发挥它的价值。作为一家企业级大数据基础软件开发商，星环科技的软件产品化程度较高，可以在不同行业实现广泛布局和快速复制，已在金融、政府、能源、交通、制造业等众多主要国民经济支柱领域得到广泛应用，为各行各业的

大数据治理是对企业内外部海量、多源、异构的数据进行全面管理和治理的过程，旨在提高数据质量、保障数据安全、实现数据价值最大化。大数据治理关键领域元数据管理：对大数据中的元数据进行采集、存储、整合和分析，包括数据的来源、定义、结构、关系等信息，为数据治理提供基础支撑。数据质量管理：建立数据质量评估指标体系，对大数据的质量进行监控、评估和改进，确保数据的准确性、完整性、一致性等。数据安全管理：制定数据安全策略和制度，采用数据加密、访问控制、数据脱敏等技术手段，保障大数据的安全性和隐私性。数据集成与共享：对企业内外部的大数据进行集成和整合，消除数据孤岛，实现数据的共享和流通，提高数据的价值和利用率。大数据治理技术架构数据采集层：负责从各种数据源中采集数据，包括结构化数据、半结构化数据和非结构化数据，如数据库、文件系统、日志文件、社交媒体等。数据存储层：采用分布式存储技术，对采集到的大数据进行存储和管理。数据处理层：运用大数据处理技术，对存储的数据进行清洗、转换、分析和挖掘等处理。数据服务层：将处理后的数据以服务的形式提供给用户和应用，如数据查询服务、数据可视化服务、数据分析服务等。大数据治理

企业数字化转型密钥：搭建大数据平台大数据平台：企业发展的新引擎在大数据时代，企业要想在激烈的市场竞争中脱颖而出，就必须充分利用大数据的力量。而建设企业大数据平台，无疑是企业实现这一目标的关键举措。企业大数据平台，就像是企业的“智慧大脑”，它整合了企业内外部的各种数据资源，运用先进的数据分析技术，为企业提供全面、准确、及时的决策支持。强大的数据处理能力企业大数据平台则利用分布式存储和并行计算等大门。通过对海量数据的深入挖掘和分析，企业可以发现市场上的新兴趋势、消费者需求的变化以及竞争对手的策略等信息。提升运营效率与质量企业大数据平台对企业内部运营数据的分析，能够帮助企业发现生产过程中的瓶颈效率。增强竞争力与创新能力在市场竞争日益激烈的今天，企业需要充分了解竞争对手，才能制定出更具针对性的竞争策略。企业大数据平台可以帮助企业收集和分析竞争对手的产品信息、市场份额、营销策略等数据，让企业先进技术，能够高效地处理海量数据。它可以将大规模的数据分散存储在多个节点上，通过并行计算的方式，大大提高数据处理的速度和效率。挖掘隐藏商业机会大数据分析就像一把“金钥匙”，能够帮助企业开启隐藏商业机会的

企业数据治理服务是一套通过一系列流程、方法和技术，对企业内外部数据进行全面管理和优化的服务，旨在提高数据质量、保障数据安全、促进数据共享和提升数据价值。服务内容数据治理规划：结合企业战略目标和业务需求，制定数据治理的整体规划和路线图，明确数据治理的目标、范围、原则和实施步骤。数据标准管理：建立统一的数据标准，包括数据格式、编码规则、数据字典等，确保企业内各系统间数据的一致性和准确性。数据质量管理数据治理提供基础支撑。主数据管理：识别和管理企业内的关键业务数据，如客户、产品、供应商等主数据，建立主数据模型和管理流程，实现主数据的集中管理和共享。数据安全管理：制定数据安全策略和制度，通过身份认证，企业可以加强对数据的管理和监控，及时发现和解决数据问题，降低因数据质量问题导致的运营风险。促进数据共享：数据治理服务可以打破企业内的数据孤岛，促进数据的共享和流通，提高企业的协同效率和创新能力。：制定数据质量评估指标体系，通过数据清洗、转换、补全等技术手段，对数据进行质量检测和修复，提升数据质量。元数据管理：对企业内各类数据的定义、来源、关系等元数据进行采集、存储和管理，构建元数据仓库，为

主数据治理是对企业内具有核心价值和关键作用的主数据进行全生命周期管理，以确保其准确性、一致性、完整性和时效性，从而提升企业数据质量和管理效率。主数据的定义与特点定义：主数据是指在企业内各个业务系统。主数据治理的实施步骤项目规划：明确主数据治理的目标、范围、实施计划和预算等，组建项目团队，包括业务部门、IT部门等相关人员。现状评估：对企业内主数据的现状进行全面调研和分析，包括主数据的来源、分布治理系统与企业内各业务系统进行集成，实现主数据的共享和同步，确保各业务系统使用的主数据一致。运营与维护：建立主数据治理的运营和维护机制，包括主数据的日常管理、质量监控、问题处理等，确保主数据治理工作的企业内的顺利推进和资源保障。业务参与：业务部门的积极参与和配合，确保主数据治理工作与企业业务需求紧密结合，提高治理方案的可行性和有效性。数据文化：在企业内培养良好的数据文化，提高员工对数据重要性的认识多个业务系统使用和引用。主数据治理的目标提升数据质量：通过建立统一的数据标准和规范，对主数据进行清洗、转换和整合，消除数据不一致性和错误，确保主数据的准确性、完整性和时效性。实现数据共享：打破数据孤岛

工作流程的定制和自动化，如数据标准的制定流程、数据质量问题的处理流程、主数据的申请和审批流程等，通过工作流引擎实现流程的自动化流转和跟踪，提高数据治理的工作效率。技术架构数据采集层：负责从企业内的各种数据要点与业务需求结合：在实施数据治理系统之前，需要深入了解企业的业务需求和数据治理目标，确保系统的功能和流程与企业的实际情况相匹配，能够切实解决企业的数据治理问题。数据整合与清洗：由于企业内的数据可能存在分散、不一致等问题，在实施数据治理系统时，需要对数据进行整合和清洗，确保数据的质量和一致性，为数据治理系统的运行提供良好的数据基础。用户培训与推广：数据治理系统的使用需要企业内各部门和人员的参与和和数据治理的需求进行持续优化和改进，不断完善系统的功能和性能，提高数据治理的效果。应用案例金融行业：银行、证券等金融机构通过数据治理系统对客户信息、交易数据等进行集中管理和治理，提高数据质量，加强数据：医院、药企等通过数据治理系统对患者病历、药品信息等数据进行管理，提升数据的准确性和可用性，为临床决策、医疗研究等提供数据保障。

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。