企业数据平台是大数据场景中需要数据汇聚、密集计算并对外公开数据的重要业务场所,由于数据服务的开放性,数据安全风险随着数据服务规模的增长而同步增长。为此,承担责任风险的数据平台运营者和数据责任人需要设计一个能够支持数据安全技术落地的安全架构,同时辅助以行之有效的安全治理,保证数据中台的安全可靠运营。
数据平台的数据安全架构设计
发布时间:2023-05-07
数据平台的云原生架构设计
云原生(Cloud Native)是由Matt Stine在2013年提出的概念,其目标是为了解放开发和运维的工作,让应用能够更好的适合云架构。云原生是一种新的设计模式,它要求云原生应用具备可用性和伸缩性,能够制动或部署、发布和管理,可以随处运行,并且能够通过CI/CD来提升研发、测试和发布的效率。本篇介绍云原生架构设计。
发布时间:2023-05-07
什么是存算分离架构?
随着硬件技术的快速进步,尤其是网络和存储设备的性能迅速提升,以及云计算厂商推动软硬件协同加速的云存储服务,越来越多的企业开始基于云存储来构建数据存储服务,或数据湖,因此就需要单独再建设一个独立的计算层来提供数据分析服务,这也就是存算分离架构(Disaggregated Storage and Compute Architecture)。本文介绍存算分离架构。
发布时间:2023-04-06
支持多模型数据分析探索的存算分离湖仓一体架构解析(下)
当企业需要建设独立的数据仓库系统来支撑BI和分析业务时,有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。随着大数据技术的发展,通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力,企业可以基于统一的架构来同时支持数据湖和数据仓库的业务,这就是湖仓一体架构。本篇继续介绍星环科技Inceptor和Apache Delta Lake。
发布时间:2023-03-30
支持多模型数据分析探索的存算分离湖仓一体架构解析(上)
当企业需要建设独立的数据仓库系统来支撑BI和业务分析业务时,有了“数据湖+数据仓库”的混合架构。但混合架构带来了更高的建设成本、管理成本和业务开发成本。随着大数据技术的发展,通过在数据湖层增加分布式事务、元数据管理、极致的SQL性能、SQL和数据API接口能力,企业可以基于统一的架构来同时支持数据湖和数据仓库的业务,这就是湖仓一体架构。
发布时间:2023-03-30
灵活、快捷、低运维成本的数据集成方法:数据联邦架构
在传统的企业数据运用中,企业使用多种系统,数据散落在各个存储设备中,数据分析需求往往是跨库的,数据入湖入仓在做分析会有安全问题,或影响业务系统性能。企业需要一种灵活、快捷、低运维成本的数据集成方法,就有了数据联邦架构。本文介绍数据联邦架构。
发布时间:2023-03-30
分析型数据库:分布式分析型数据库
分析型数据库的另外一个发展方向就是以分布式技术来代替MPP的并行计算,一方面分布式技术比MPP有更好的可扩展性,对底层的异构软硬件支持度更好,可以解决MPP数据库的几个关键架构问题。本文介绍分布式分析型数据库。
发布时间:2023-03-30
分析型数据库:MPP 数据库的概念、技术架构与未来发展方向
分析型数据库是数据库的一个分支,主要设计目标是存储、管理和分析数据,一般存储的数据类型多,时间维度长,主要配合企业的业务分析、商业智能等应用场景,驱动数据化的商业决策。由于数据分析一般涉及的数据量大,计算复杂,分析型数据库一般都是采用大规模并行计算或者分布式计算来提升它的数据处理能力。
发布时间:2023-03-30
分布式场景下,Apache YARN、Google Kubernetes 如何解决资源管理问题?
所有的资源管理系统都需要解决资源的有效利用、任务的有效响应、调度策略的灵活配置这三个最基本问题。那么在分布式的场景下,YARN和Kubernetes是怎么解决的呢?本篇进行介绍。
发布时间:2023-03-30
什么是数据云?数据云和云数据库的区别及数据云的应用场景
数据云提供了一个基于云或者云原生的融合数据基础架构,可实现企业数据的集成、存储、治理、建模、分析、挖掘和流通。利用融合数据基础架构的云特性,可以按需提供计算、存储、分析和建模功能,使企业能够利用其数据来推动其转型并创造价值。
发布时间:2023-03-30