企业信息大数据平台建设

覆盖总部及炼化、销售、管道等业务的29个集团公司大型统建信息系统。此次获奖的“销售大数据共享平台”主要针对成品油销售业务数据特点，采用多租户模式向销售板块及37家销售企业提供数据分析应用所需的计算资源、存储资源与数据资源。经过规划总院销售部大数据团队及地区公司共同建设，目前平台已完成投用的数据应用模型超过50个，持续挖掘销售海量数据的潜在价值。未来，平台将持续增加数据节点，扩大应用范围，为销售企业数字化转型提供技术支撑。来源：中国石油新闻中心在由中国信息协会主办，中国信息协会能源分会等单位协办的第八届中国能源企业信息化大会上，包括中国石油规划总院在内的20余家单位获颁“2018中国能源信息化管理创新奖”。今年恰逢规划总院成立40周年，此项成绩是这个院开启“打造世界一流综合性国际能源高端智库”新征程的首捷战果。多年来，规划总院紧跟信息技术发展趋势，准确把握集团公司业务实际，先后建设、运营

综合性治理为基础，建立有效的组织保障及制度保障，重点围绕IT治理体系和信息安全体系开展管控建设，为开展大数据平台建设、推动数据治理工作的基础保障支撑。解决方案某电器企业基于星环科技企业级一站式大数据质量检查；标准化构建统一的企业信息模型，实现主题数据的融合；收集并统一公司各业务部门核心指标。后依托于大数据平台和治理保障体系，某电器企业构建了园区智慧大屏、综合度量平台和质量追溯应用，同时进行了业务综合平台TDH作为技术平台底座，搭建了统一的大数据异构存储平台，提升多模数据存储能力，为数据治理保障和应用建设提供支撑。治理保障层面，某电器企业基于TDH大数据基础平台，对19个业务系统进行数据归集和大管理体系，加速推动某电器企业数字化转型。为实现数字化转型目标，某电器企业希望与星环科技的合作，构建统一的大数据平台，掌控企业的运营情况；建立公司级综合度量指标体系，统一度量口径、业务目标和交流语言；进行数据归集，挖掘数据价值，通过大数据平台积极探索新型业务价值，支撑业务应用的建设。具体需求如下：1.统一数据标准规范通过大数据对公司数据资产进行清洗、转换、整合，实现企业数据标准化、集成化、标签化

。推动数字化转型、信息化建设，已经成为能源企业提升管理效能、打造“智慧型”组织的关键支撑。星环科技为企业进行数字化转型提供数据全生命周期的处理工具，包括大数据平台、分布式数据库、数据开发和智能分析工具，以技术支撑为基础，全面赋能企业一体化协同、管理创新和业务创新的大数据平台的实践案例。•星环科技助力中化管理决策数字化平台建设落地，充分激发数据价值：能够充分整合和管理企业各个系统全生命周期数据，快速2021中国石油石化企业信息技术交流大会暨油气产业数字化转型高峰论坛于5月13日-14日在北京召开。大会主要围绕石油石化企业数字化转型、智能化发展需求等作专题报告和总结交流。大会是中国石油学会大会《论文集》，星环科技杨洪山、沈兆东撰写的《面向石油行业大数据的多引擎存储计算技术研究》论文成功入选。•沈兆东在演讲中分享：“企业大数据平台架构正在向湖仓一体演进，将支持更多元的数据处理，支持业务持续创新。'湖仓一体'解决方案有效融合'数据仓库'和'数据湖'的优点，在效率和灵活性中取得平衡，是企业级数据中心的优秀技术路线。”•重点分享了利用星环科技提供一站式的大数据解决方案，为中化建立了以数据驱动为核心

大数据平台建设是一个涉及多个层面的复杂过程，包括数据采集、存储、处理、分析和服务等多个环节。以下是一些关键点和实践案例，可以帮助理解大数据平台建设的各个方面：需求分析与规划阶段业务需求调研：与企业被使用。确定平台目标与功能：根据业务需求，明确大数据平台建设的目标，如提高数据处理效率、实现数据共享与整合、支持数据驱动的决策制定或推动业务创新等。规划大数据平台的功能模块，通常包括数据采集、存储因素，选择最适合的技术组合。设计大数据平台的架构，一般包括数据来源层、数据接入层、数据存储层、数据处理层、数据服务层和应用层。数据采集与存储建设阶段数据采集系统搭建：针对不同类型的数据源，采用相应的参数、返回格式、安全认证和访问权限等。数据应用开发与集成：将数据应用与企业的业务流程和其他系统进行集成，实现数据驱动的业务创新和优化。数据治理与安全建设阶段数据治理体系构建：建立元数据管理系统，对大数据内各个业务部门（如销售、市场、财务、生产等）深入沟通，了解他们对数据的使用场景、痛点以及期望从大数据平台获取的价值。梳理业务流程，确定哪些环节产生数据、需要收集什么样的数据以及数据如何在业务流程中流动和

数据仓库建设是企业信息化和数字化转型的重要内容，数据仓库是一个用于存储和处理企业数据的系统，能够将企业内部和外部的各种数据进行集成和分析，提供可靠的数据支持和决策分析。数据仓库建设将不同来源、格式企业信息化过程中，数据一直是企业重要的资产和核心竞争力，数据仓库的建设是为了更好地利用和管理这些数据。具体而言，数据仓库建设可以实现以下几个方面的价值：(1)提高数据的质量：通过仓库建设，企业可以对海量数据、性质的数据进行汇聚，基于业务需要实现企业数据的存储、计算、分析和可视化等功能，从而实现数据的价值挖掘和应用。数据仓库建设的意义数据仓库建设是企业实现数字化转型与升级的核心内容之一，意义重大。在。(3)促进业务创新：通过数据仓库建设，企业可以充分利用数据分析的手段，深入挖掘数据背后的业务价值，探究新业务模型和规律，提高企业创新和竞争力。(4)提高成本效益：数据仓库的建设能够实现企业数据的共享和仓库中包含企业的各种敏感数据和商业机密因此需要重视体系的安全防护和权限管理，避免企业内部和外部攻击的风险，确保数据的保密性和整性。(4)业务需求分析和应用场景设计：在数据仓库建设过程中，需要关注具体的业务

高性能大数据平台，能够满足证券企业高计算、高存储、高负载的要求；通过数据治理，建设组织级标准体系、健全数据质量控制机制、加强数据内部协同、规范外部数据合作,提升数据管理水平来保障公司数据化战略的落地一、背景近年来,随着金融科技的快速发展以及互联网机构不断加大数字金融布局,大数据平台建设和数据治理逐渐成为证券公司建设现代化投资银行面临的重要挑战。基于大数据技术，整合现有数据，接入外部数据，构建，利用星环大数据基础平台TranswarpDataHub（TDH）和大数据开发工具TranswarpDataStudio（TDS）进行大数据平台建设和数据治理，并在部署后的运行期间，数据资产规模突破，全年完成数据模型超过20个，大数据内外价值实践获得不断突破。二、解决难点随着数据量、数据结构、应用场景和金融风险发生显著变化，原有的传统数据分析技术运行效率难以满足企业业务需求。一方面基于开源平台的架构基于Slipstream、Inceptor等TDH组件设计的星环平台架构替换原有开源平台架构，降低了大数据建设的安全风险；通过星环智能大数据资产目录catalog保证平台执行sql可追踪、智能分析

依托星环科技TDH的大数据支持，某电器企业实现了数据治理保障。通过帮助企业数据落地建立统一的数据模型，实现了不同业务主题的数据联结，形成企业统一数据视图，为业务应用提供坚实基础。同时涵盖和打通了各系统之间的数据信息，使其可以实时交互共享、有效融合；保证了数据颗粒度和精细化，使其更高效地灵活应用，并帮助企业沉淀了电器数据管理办法。在应用建设层面，打通了底层业务数据，满足了业务分析扩展和多元化的发展需求。例如实时大屏数据展示，通过实时流处理引擎，支持大屏指标动态更新及展示。质量追溯平台提供了正向、逆向两种方法的数据追溯，掌握了生产过程、提升产品品质管理能力，完善了条码信息，使数据完备可信，实现了3亿条码秒级响应。综合度量平台帮助企业更全面地了解了企业内外部运营情况，有利于企业的长期发展。通过TDH+Workflow支撑实现业务报表，在测试数据集中实现了kafka平台10万条/秒的数据写入，消费拉取速度与生产速度完全一致，Slipstream低延迟实时入库，远远超过iot数据百万级/天的需求。利用ArgoDB+Sophon，点焊工艺规范项目在测试数据集中实现了秒级延迟、实时响应。在第一轮的

企业数字化转型密钥：搭建大数据平台大数据平台：企业发展的新引擎在大数据时代，企业要想在激烈的市场竞争中脱颖而出，就必须充分利用大数据的力量。而建设企业大数据平台，无疑是企业实现这一目标的关键举措大门。通过对海量数据的深入挖掘和分析，企业可以发现市场上的新兴趋势、消费者需求的变化以及竞争对手的策略等信息。提升运营效率与质量企业大数据平台对企业内部运营数据的分析，能够帮助企业发现生产过程中的瓶颈效率。增强竞争力与创新能力在市场竞争日益激烈的今天，企业需要充分了解竞争对手，才能制定出更具针对性的竞争策略。企业大数据平台可以帮助企业收集和分析竞争对手的产品信息、市场份额、营销策略等数据，让企业清晰地了解竞争对手的优势和劣势，从而找到自身的差距和机会。大数据平台还能促进企业的创新。通过对创新过程和创新项目的数据分析，企业可以了解创新项目的进展情况、存在的问题以及市场对创新产品的反馈，为企业的。企业大数据平台，就像是企业的“智慧大脑”，它整合了企业内外部的各种数据资源，运用先进的数据分析技术，为企业提供全面、准确、及时的决策支持。强大的数据处理能力企业大数据平台则利用分布式存储和并行计算等

一、项目背景为响应国资委在《关于2019年进一步加强中央企业集团管控信息化工作有关事项的通知》中对央企提出的“大系统、大平台、大数据”信息化要求，同时为了推进集团“数字中化”的战略目标，助力集团各业务单位实现数字化转型，业务应用事业部提出由信息公司自主建设集团大数据基础服务平台，作为集团数字基础设施支撑集团各级次的数据应用。二、大数据平台建设需求中化集团目标建立一个以数据驱动为核心，以技术支撑为和人工智能应用基础软件平台。自主可控：大数据是企业核心资产，应自主建设，遵循先进适用、稳定安全、灵活开放的原则设计。平台借助多租户的模式，可以满足集团及各个板块对数据和权限的管理要求，使得集团建设基础，赋能企业一体化协同、管理创新和业务创新的大数据平台。技术先进：先进的技术能够保证整个大数据系统的稳定性与兼容性，同时能够合理利用资源，避免有限的资源浪费。集团需要建立一个结合先进技术一体化的大数据）多租户能力大数据平台按照租户的形式提供服务，能够快速响应用户的大数据应用需求，降低用户建设成本，具有平台稳定、技术先进、数据安全、运维及时等特点。平台运用应用隔离、资源隔离、数据隔离、运行隔离等手段

在Hippo中，比较耗时的操作如激活、加载向量索引实际上是一个分布式任务，用户可以通过任务相关接口查看、删除任务。查看任务curl-ushiva:shiva-XGET"localhost:8902/hippo/v1/_jobs?pretty"-H'Content-Type:application/json'-d'{"job_ids":["fc6feff4f303455a9347f9aab323dfc8"],"action_patterns":["hippo*"]}';返回结果：{"jobs":[{"job_id":"810935a1d91a46b7af2ec35013454fed","job_status":"SHIVA_JOB_SUCCESS","embedding_number":100,"task_results":[{"id":"54ab52493dfb4bab9fb7742d850c64c4","status":"TASK_SUCCESS","server":"172.29.40.26:27841","embedding_number":100,"execute_time":...

ThistutorialwillguideyouthroughthefollowingtaskswithinHippoCloud:EstablishingatablePerusingthetableIncorporatingdataExecutingsearchoperationsEliminatingrowsDissolvingthetableBeforeyoustartInthisguide,wewillbeutilizingthePythonAPI.Priortocommencement,ensurethatyouhave:RegisteredforaHippoCloudaccount.SubscribedtothecomplimentaryplanandestablishedatrialclusterwithinHippoCloud,orsubscribedtothestandard/enterpriseplansandconstructedadedicatedcluster.IfyouanticipateemployingPythonfordevelopment,ascert...

OverviewAclusterisaHippoCloudinstanceassociatedwithspecificcomputingresources.Youcancreaterelatedtables,insertcorrespondingdata,andcompleteproductexperiencewithinacluster.Beforeyouusethedemoenvironment,youneedtocreateacluster.CreateClusterYouneedtogotothespecificproject.Iftherearenoclustersunderthecurrentproject,youcanclickthe'Createcluster'buttonbelowtheclustercreationguidancepagetoentertheclustercreation.Ifthereareclustersunderthecurrentproject,youcanclickthe'+Cluster'buttonabovetheclusterlist...

OverviewUnstructureddatamanagementismoreimportantthaneverduetotheriseofbigdata.Managingandgleaningbusinessvaluefromunstructureddataisofutmostimportancetoenterprisestoday.Advancementsinmachinelearning,aswellasdeeplearning,technologiesnowenableorganizationstoefficientlyaddressunstructureddataandimprovequalityassuranceefforts.Inthefieldofartificialintelligenceormachinelearning,embeddingsandvectordatabaseshavebecomeincreasinglyimportantfortacklingawiderangeofproblems.Thesetechniquesareusedtorepresen...

过滤条件表达式Hippo当前支持如下表达式，可用于标量或向量查询。表46.过滤条件表达式表达式描述and当前版本支持and，不支持or/not==等值<小于⇐小于等于>大于>=大于等于inin[1,2,3]notinnot_in[1,2,3]like'_'表示匹配任一字符，'%'表示匹配任意字符，'\'为转义符向量相似性检索本节描述如何进行向量相似度搜索。Hippo中的向量相似性搜索计算查询向量与表中向量的距离，返回最相似的结果集。通过指定标量过滤条件，用户可以进行向量与标量的混合搜索。curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/{table}/_search?pretty'-H'Content-Type:application/json'-d'{"output_fields":["book_id"],"search_params":{"anns_field":"book_intro","topk":2,"params":{"nprobe":10},"embedding_index":"ivf_flat_index"}...

查看Master节点通过以下命令，查看集群Master节点信息：curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/master?v'返回结果：epochtimestampactive.master.hostactive.master.portmaster.group169079683909:47:19172.29.203.18926841172.29.203.189:26841,172.29.203.189:26851,172.29.203.189:26861查看数据节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes?v'//查看所有节点curl-ushiva:shiva-XGET'localhost:8902/hippo/v1/_cat/nodes/{node}?v'//{node}表示待匹配的节点地址，支持以*通配，支持指定多个pattern，多个pattern以逗号分割返回结果：

本节测试主要描述了Hippo1.0在关键测试上的一些性能表现，该份测试同样也是Hippo的基准测试，后续版本发布也会在不同版本上进行该测试进行对比分析。术语表142.Hippo性能测试术语TermDescriptionnq一次搜索请求中搜索的向量个数topk一次请求中对于要检索的每个向量(依赖nq)，所能检索到最近距离的向量个数RT一次请求从发起到接受响应的时间]QPS请求在每秒内成功执行的次数dataset测试所用数据集，不同数据集表示不同的业务场景测试集群配置硬件配置表143.性能测试硬件配置硬件规范Nodes3CPUIntel®Xeon®Gold5218RCPU@2.10GHzMemory16*\16GBRDIMM,3200MT/sDISKNVMeSSD2T*4GPUNONE软件配置表144.性能测试软件配置软件版本Hippov1.2TranswarpManagerTDH9.3.0测试集表145.性能测试数据集数据集名称数据集介绍向量维度向量总数查询数量数据总量距离类型Sift-128-euclidean该数据集是基于Texmex的数据集整理，使用SIFT算法得到的图片特征向量。...

Hippo在1.2版本提供了全文索引能力，兼容ElasticSearch6.7.2语法，在底层架构上复用了公司产品TranswarpScope的一部分特性，支持以Java/HTTPRestful的形式通过Hippo的HTTPServer接口进行全文索引的创建、查询、使用等各类需求，通过该能力的支持，可以更好的实现向量与全文的混合检索。通过将向量检索加全文检索的联合召回，可以降低漏检和误检的概率，能够实现比单独使用向量或全文更高的精度。同时，一套数据库系统可避免部署多套系统带来的架构复杂、开发运维成本高等问题。具体的使用方法除了访问端口需要将端口从8902调整为9200外，均可参考《TranswarpScope手册》4.TranswarpScopeAPI介绍。

运维管理界面WebserverWebserver是Hippo提供运维监控的界面。默认访问地址为:4567"class="bare">http://<webserver_ip>:4567。或者在Manager管理界面我们可以通过下图所示的查看链接这里进行跳转。图15.登录HippoWebserverWebserver主要由下面几个部分构成。概况图16.概况该页面展示了Hippo集群的基本信息，包括：Masterstatus：当前的ActiveMaster，MasterGroup，MasterAddress，Master的健康状态TabletServerStatus：TabletServerAddress，健康状态，逻辑机架和数据中心信息，容量使用以及Tablet个数TabletNum：当前集群表的个数Version：Hippo版本信息库表图17.库表页面以库和表的概念集群存储的各类数据信息。库信息：库名库创建时间库内各类表的信息：点击某个库，可以看到库下所有表的信息，主要包括：••表的ID••表的名字••表的状态••表的Tablet数量••表的Engine类型••表的副本数•...

本节介绍Hippo表写入相关操作。Hippo会返回写入成功数据的下标以及总共写入成功的数据条数，如果出现行级错误（比如主键冲突），Hippo会返回具体的行级错误。插入本节介绍如何向Hippo中插入数据。curl-ushiva:shiva-XPUT'localhost:8902/hippo/v1/{table}/_bulk?database_name={database_name}&pretty'-H'Content-Type:application/json'-d'{"fields_data":[{"field_name":"book_id","field":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74...