基金数据治理

随着信息化时代的到来，数据已经成为企业重要的资产之一。有效的数据治理可以帮助基金公司优化业务流程，提高业绩，降低风险，增强市场竞争力。基金公司的数据治理可以从以下几个方面进行：建立完善的数据管理架构等。建立一套完善的数据治理评估和改进机制：数据治理是一个持续的过程，基金公司需要定期评估和改进数据治理的现状。这可以通过定期对数据治理流程和制度的评估，以及对数据管理能力和数据价值的评估来实现。星环和制度：这包括明确数据管理团队的职责和权限、制定数据规范和标准、建立数据管理流程和应急预案等。同时，基金公司还需要建立一套数据分类和分级的体系，根据数据的敏感程度和重要性进行合理的管理和保护。建立一套完整的数据采集和存储机制：数据采集是获取有效数据的关键，基金公司可以通过建立门的数据采集部门或引入第三方数据服务提供商来获取各类数据。同时，基金公司还应该建立可靠的数据存储设施，确保数据的安全性和可追溯性。建立数据共享和应用的机制：数据共享可以帮助不同部门之间实现信息共享和协同工作，提高工作效率和决策水平。同时，基金公司还可以通过开放数据接口和数据服务，向外部用户提供数据分析决策支持。建立一套有效

近日，星环科技与易方达基金达成合作，为易方达基金提供大数据管理服务。星环科技基于一站式大数据平台构建企业级数据仓库和数据集市，以及拥有高性能、可扩展的分布式数据库，为易方达基金数据管理提供强有力的技术支撑。易方达基金管理有限公司，是中国内地综合性资产管理公司，注册资本1.2亿元人民币，旗下设有北京、广州、上海、南京、成都分公司。截至2015年12月31日，易方达基金旗下共管理100只公募基金产品（含易方达香港）以及多个全国社保基金资产组合、企业年金及特定客户资产管理组合、QFII/RQFII投资组合等，资产管理规模超过700亿元，是国内具实力、业务品种全的基金管理公司之一。

经济政策环境的多重影响下，基金行业数字化转型进入全面数智化阶段，迈入以数据为资产、以智能化为目标的新征程。主要表现在：数据技术为数字化转型提供能力支撑，客户群和偏好变化牵引服务创新，政策为数据经济发展一体化平台，支持财富头部业务流程重塑；统筹实施投研一体化工程，重点打造以数据为驱动，以智能化、高效化、可视化为目标的全流程、全业务、全资产投研一体化平台；加速升级数字管理和服务能力，加速完善数据治理近日，星环科技在线上举办了2022年春季新品发布周，带来数字底座、数字化转型、国产替代、数据安全与流通四大专题，60余场演讲。来自金融、能源、交通、政务、高校、运营商等多个领域的客户、合作伙伴现身说法，分享数字化转型成功经验。华夏基金金融科技条线负责人陈一昕结合自身在金融科技领域的探索和经验，带来了《基金行业数字化转型实践》主题演讲。华夏基金管理有限公司成立于1998年4月9日，是经中国证监会批准成立的全国性基金管理公司之一。截止至2021年6月30日，华夏基金母公司及子公司管理资产规模超过1.7万亿，服务超过1.8亿户个人投资者及近7万户机构客户。在数字化转型浪潮、客户结构和偏好变化、数字

之一。问题与需求1）数据架构难统一，收集系统费时费力。券商行业，数据中心80%-90%都是混合架构。在基金行业里面，数据中心一般分为两部分，营销数据中心与投研数据中心。营销数据中心，存储大量TA的客户账户信息，做客户级别归并和分类分级；投资数据中心，基本是FA数据。2）传统数据库无法支持现有数据增速。在南方基金营销数据中心，受限于TA业务发展，TA数据采集到营销数据中心，时间差值越来越小，数据量持续累积，传统数据库已经无法满足南方基金的需求。3）数据采集、运算工具兼容效果不理想。南方基金原有数据采集产品，仅支持配套工具，无法满足多种产品使用同种工具，数据汇总混乱，数据分析与深入挖掘难度增加。寻求一种好的工具，为数据中心提供硬性平台，建立系统的架构标准，构建全新的、统一的数据中心，并帮助数据中心做数据探索，这是南方基金亟待解决的问题。分步走，完成数据中心落地TDH大数据平台在基金行业、基金公司自助查询、报表、领导驾驶舱的管理等业务给予了良好支撑。第二步：以客户行为为终导向的大数据分析。基金公司多数客户来自代销渠道，真正具有价值的信息并不全面。对于有限的直销客户，快速响应并提供个性化服务

应用、数据平台建设的很好解决方案、数据治理遇到的一些问题，充分交流各自的设想和经验。星环科技作为国内金融行业落地案例多的大数据与人工智能平台厂商，将发挥自身的技术优势，为证券基金同业的信息化建设提供更好的解决方案和技术支持。作者：周一叶（文章来源于腾讯新闻）日前，星环和第一创业证券联合组织证券基金行业交流会，国信证券、安信证券、博时基金、鹏华基金、融通基金、华商银行等近20家证券基金银行的50余位技术领导和专家参加本次交流。交流团听取了第一创业证券大数据大数据基础平台的选型搭建及数据中心的整体迁移过程、大数据应用的整体规划及大数据分析平台建设经验、数据治理体系架构及实施思路和路线，三个方面介绍了第一创业证券在数据平台建设上的现状并分享经验。活动当天同期举行证券基金同业技术交流沙龙，国海证券信息技术中心开发部负责人张召端、南方基金信息技术部副总裁屈磊和大家介绍了各自大数据平台建设的现状及规划。沙龙上，大家从实际应用的角度探讨大数据平台建设中遇到的各种问题和解决方案，交流获得了良好的成效。证券基金行业数据处理之需交流团针对行业在数据处理上的问题进行了探讨，证券基金行业大多建有数据中心，但传统的数据库只处理结构化数据，对于来自包括APP的日志分析等

能力，并且融合了数据PaaS、分析PaaS、应用PaaS，实现数据、应用、模型的互联互通，打破富国基金不同业务系统的数据孤岛。在数据治理、元数据、数据质量、数据资源目录等能力上，星环科技提供了集开发与治理解决方案，能够一站式解决企业从建湖到管湖全部过程，为富国基金管理和决策提供数据基础与分析能力保障，提升富国基金的竞争力。作为富国基金数据湖云底座的数据云平台TDC，基于云原生技术构建，具备极致的弹性工具Transporter、任务调度软件Workflow、可视化报表分析软件Pilot、数据服务开发与管理工具Midgard以及数据资产目录软件Catalog、数据治理工具Governor、数据安全防护工具TranswarpDefensor、数据商城TranswarpForesight、数据服务开发与管理工具Midgard和标签管理平台StarViewer。可以帮助富国基金形成标准的数据资产管理规范特点是采用分布式计算模式，可以进行结构化、半结构化和非结构化三种不同类型的数据的接入、处理、分析与模型发布及管理工作。在富国基金项目上，可以用于搭建联合创新实验室，通过引入人工智能、数据挖掘技术来提升数据价值能力。

日前，由证券基金信创攻关计划主办，深交所技术产品联盟、证券基金行业信创中心和中国信通院云计算与大数据研究所联合承办的“2023年证券基金信创攻关计划全体工作会暨深交所技术产品联盟成员大会”在深圳举办软件产品矩阵，以及在金融信创和金融科技领域多年的深耕，助力证券基金行业客户在传统数据库、数仓、开源大数据平台、算法平台甚至图库替代方面已有大量落地案例。此外，星环科技还推出了金融行业智能投研大模型无涯。会上，星环科技被正式授予“证券基金行业信创中心创新合作伙伴”。近年来，在各行业机构的共同努力下，证券基金行业信息技术应用创新工作取得了多项重要进展。随着工作的不断推进，行业信创正在逐步跨入深水区，核心业务系统的攻关将成为下一阶段各机构的重点难点任务。为加快行业信创步伐、推动共性难点攻关，在证监会科技局的统筹指导下，深圳证券交易所、中国信息通信研究院、招商证券和易方达基金共同发起证券基金信创攻关计划，积极开展行业信创领域的技术攻关、标准研讨、图谱编制、交流培训等相关工作。星环科技作为大数据基础软件国产化的重要推动者之一，依托大数据与云基础平台、分布式关系型数据库、数据开发与智能分析工具的

国泰证券、恒生电子、招商基金、山西证券、中泰证券，汇聚各方精英，共同探讨如何通过大数据和人工智能为证券基金业务创新赋能。大数据技术发展趋势介绍星环科技创始人兼CEO孙元浩指出，随着大数据、人工智能、云，专门研究大脑如何工作，是恒生人工智能大脑iBrain处理金融资讯文本等非结构化数据的核心技术。智能客服市场中，证券、基金占有率在前三，NLP与智能客服的深度融合就成为了iBrain的优势，高效准确地和促进，才能实现数字化金融科技的飞跃。招商基金大数据及机器学习实践招商基金大数据和机器学习负责人朱春霖介绍，引入大数据之前，招商基金的数据中心包括投研数据中心、营销数据中心、数据平台体系的基础建设。大数据建设初期，招商基金以满足营销侧个人客户多维分析需求为切入点，搭建整体大数据处理框架，根据规则或算法生成标签、进行数据挖掘建模，为业务应用服务。当前，大数据建设（二期）开始全面接入公司主要业务数据，以满足机器学习项目需求和营销侧报表为主，构建数据湖，实现数据服务化。目前，招商基金已在营销、投研机器学习项目以及机器学习底层平台方面深入探索和实践，并从千人千面、流失挖掘、新品推荐、资产错配四个方向

国泰证券、恒生电子、招商基金、山西证券、中泰证券，汇聚各方精英，共同探讨如何通过大数据和人工智能为证券基金业务创新赋能。大数据技术发展趋势介绍星环科技创始人兼CEO孙元浩指出，随着大数据、人工智能、云，专门研究大脑如何工作，是恒生人工智能大脑iBrain处理金融资讯文本等非结构化数据的核心技术。智能客服市场中，证券、基金占有率在前三，NLP与智能客服的深度融合就成为了iBrain的优势，高效准确地和促进，才能实现数字化金融科技的飞跃。招商基金大数据及机器学习实践招商基金大数据和机器学习负责人朱春霖介绍，引入大数据之前，招商基金的数据中心包括投研数据中心、营销数据中心、数据平台体系的基础建设。大数据建设初期，招商基金以满足营销侧个人客户多维分析需求为切入点，搭建整体大数据处理框架，根据规则或算法生成标签、进行数据挖掘建模，为业务应用服务。当前，大数据建设（二期）开始全面接入公司主要业务数据，以满足机器学习项目需求和营销侧报表为主，构建数据湖，实现数据服务化。目前，招商基金已在营销、投研机器学习项目以及机器学习底层平台方面深入探索和实践，并从千人千面、流失挖掘、新品推荐、资产错配四个方向

StellarDB支持用户添加自定义函数，添加后可在cypher语句中使用。自定义函数实现自定义函数通过java/scala语言开发，可继承实现两种基类，编译成jar包，通过指定命令加载到StellarDB。需要实现的基类为如下两种，可自行选择继承合适的基类：继承UDF基类继承GenericUDF基类。继承UDF基类该类实现简单，功能较为单一。支持Quark的基本类型、数组和Map。适合实现简单的逻辑。继承org.apache.hadoop.hive.ql.exec.UDF类继承UDF类必须实现evaluate方法且返回值类型不能为void，支持定义多个evaluate方法不同参数列表用于处理不同类型数据。@Description(name="my_plus",value="my_plus()-ifstring,doconcat;ifinteger,doplus",extended="Example:\n>selectmy_plus('a','b');\n>ab\n>selectmy_plus(3,5);\n>8")/***实现UDF函数，若字符串执行拼接，in...

3.1在TDH平台安装StellarDB3.2StellarDB安装校验3.3StellarDB低版本升级至StellarDB5.0.1

索引是数据库中某些数据的冗余副本，目的是使查询性能更优。作为代价，数据库需要额外存储空间和较慢写入速度，因此决定哪些字段需要索引是一项重要且不易的任务。（新）StellarDB5.0.1版本不再对旧版本使用的manipulatecreate_index和manipulatedelete_index语法进行支持，在新版本中统一使用createindex和dropindex进行索引的创建和删除新增索引CREATEINDEX[IFNOTEXISTS]FOR(LabelName)ON[f1,f2,...];CREATEINDEX[IFNOTEXISTS]FOR[LabelName]ON[f1,f2,...];不支持对TIME_SERIES类型的属性创建索引默认情况下,对同一个Label的某个属性多次创建索引会报错;但如果带有IFNOTEXISTS,则不会抛出任何错误包裹点边LabelName的括号不同，注意区分示例1.在点labelperson的属性name和age上建立索引CREATEINDEXIFNOTEXISTSFOR(person)ON[name,age];示例2.在边labelask...

类型表达式类型例子十进制型整数10,-213十进制小数1.25,3.604E-14,-2.31十进制型长整数199345843592l,-12381543923L任意精度的有符号十进制数123bd,123.31BD八进制整数(0开头)084,-096字符串"星环",'信息科技'布尔类型true,false,TRUE,FALSE数组类型[1，2，3],["星环","信息科技"],[decimal(10.2,3,1),decimal(100.2,3,2)],[localdatetime("2021-01-18T09:50:12.627"),localdatetime("2021-11-18T03:50:12.113")]时间类型localdatetime("2021-01-18T09:50:12.627")Decimal类型decimal(10.2,3,1)地理空间类型point(20.5,30.5),point(-20.5,-30.5)时序类型{localdatetime("2023-01-01T15:16:17")::"nice"},{localdatetime("1997-01-01...

声明简介声明是指为特定数据类型的变量分配一定的存储空间，并命名该变量以便引用它；必须先声明变量，然后才能引用它；对声明的变量可以进行赋值操作来改变它的值；声明的变量其作用域是Session级别的。变量声明使用decl关键字声明一个变量必须为变量指定名称和类型，且名称不能与已有的变量名相同。声明但未赋值的变量的默认值为null。变量名声明对大小写敏感。变量声明的语句遵循如下格式:DECL[<variable_name>:<variable_type>];使用方法示例如下表所示：语句说明declx:int;声明一个类型为int的变量xdecls:string;声明一个类型为string的变量sdecll:long;声明一个类型为long的变量ldeclb:boolean;声明一个类型为boolean的变量bdecld:double;声明一个类型为double的变量ddecltime:localdatetime;声明一个类型为localdatetime的变量timedecld1:decimal;声明一个类型为decimal的变量d1decllist1:list[int...

StellarDB5.0.1版本对图算法场景进行了大规模改进和提升，内置算法性能得到较大提升。在语法方面，StellarDB5.0.1的内置图算法对于返回的节点，会直接以节点类型返回。因此可以直接使用uid(vertex)访问节点的uid，而不再需要node_rk_to_uid函数进行uid的转换。可以参考PageRank等函数。另外，对于图算法返回的节点，我们也可以灵活的访问其其他属性作为返回值。图计算简介StellarDB的图计算使用TEoC语句调用相应图算法。算法的输入数据为图的点、边数据。当前版本中图计算支持结果返回、结果导出和结果写回。在使用图算法时，使用configcrux.execution.modeanalysis;语句切换到分析模式下使用图算法语句。图数据视图StellarDB支持创建一个可被持久化的视图，用于加速图算法执行过程。创建视图创建视图的语法如下所示：createquerytemporarygraphviewGRAPH_VIEW_NAMEas(v)[e]withGRAPH_ALGO(@GRAPH_VIEW_NAME,VIEW_STORE_PATH,CONFI...

本章节的示例语句均可在示例图my_graph中执行，执行前请先创建示例图my_graph，建图语句如下:creategraphmy_graphwithschema(:Boy{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})(:Girl{namestring,salarydouble,ageint,singleboolean,birthdaylocaldatetime,reservelong,ratedecimal(38,10),hobbysarray<string>,geoPointgeo<double>})[:Friend{sinceint}][:Likes{sinceint}]graphproperties:{`graph.shard.number`:3,`graph.replication.number`:...

快速上手本章节将引导您快速熟悉StellarDB，并为您初步介绍如何通过KGExplorer和beeline客户端操作StellarDB。其中，"StellarDB初探"一节通过构建一张人物关系图，从零介绍如何在StellarDB进行基本操作；"StellarDB进阶"一节为您提供了内置于StellarDB的《哈利·波特》人物关系图，帮助您进一步探索StellarDB。StellarDB初探使用KGExplorer构建图从Manager页面进入KGExplorer页面。若KGExplorer开启了单点登录，会自动跳转Federation登录页面，按如图方式登录：KGExplorer用戶开启方法以及详细使用说明请查看章节《KGExplorer使用文档》。点击登录后进入KGExplorer主页面。我们首先需要构建图名为"hello_world"的图。在主页面右上角点击创建图按钮开始图谱schema的构建。按照引导填写图基本信息后点击确定进入构建页面。在画布中，我们为"hello_world"图创建Boy和Girl两种类型的点，两种类型的点均包含name、salary、age、single四...

为什么引入动态图模型？在实际应用过程中很容易可以发现，图数据在很多图数据的应用场景中并不是静态不变的，而是动态演进的，这些场景中包括例如金融反欺诈场景中金融交易网络随着时间的推进而发生的交易变化、交易社群变化等；又比如社交网络中新增用户、用户关注或者取消关注、更改账户信息等。将图数据变化的历史记录下来，不仅可以用于历史数据规律的总结，还可以利用动态图数据进行动态图神经网络相关技术的研究，从而进一步挖掘数据中潜在的数据价值和更加灵活高效的业务场景，譬如预测某一个时刻某一事件是否会发生。动态图模型的动态变化图数据的动态变化主要分为两类，一类是节点或边的属性的值的变化；另一类变化是子图（结构）的变化，如新增/删除点边。这两种图数据的动态变化可以单独发生，也可以同时发生。从图数据的属性变化角度来看，StellarDB5.0.1动态图模型可以记录图中节点或者边属性的所有历史版本（而非新数据覆盖旧数据）。在实际数据开发使用中，还可以结合诸如柱状图、趋势图等对历史数据进行可视化，更加直观、更加适合业务使用。从图数据的子图（结构）的角度来看，StellarDB5.0.1动态图模型还可以返回不同时间子图...

通过beeline或JDBC时，设置参数configquery.langcypher;将查询语言切换为TEoC模式。根据使用场景选择查询模式（默认为immediate模式）immediate模式通常用于并发及短查询场景，查询结果和中间结果通常不超过百万。通过configcrux.execution.modeimmediate;切换。analysis模式通常用于分析场景，创建图、插入数据以及图算法相关的语句必须在该模式下进行。通过configcrux.execution.modeanalysis;切换。