Transwarp Distributed File System
星环分布式文件系统
高扩展、高可用、安全可靠
产品简介
TDFS 是星环科技推出的一个云原生,兼容 Hadoop 及更多生态,支持对象存储、文件系统,致力于打造高性能、强一致的分布式存储系统,充分具备高扩展、高可用、安全可靠等特性。通过 TDFS,用户可以实现多副本分区容错、“无限”扩容、备份数据迁移恢复等重点功能,满足用户海量数据存储需求的同时充分利用资源,发挥资源灵活性,降低分析资源成本。
核心能力
海量存储
TDFS提供无上限文件元数据存储,无单点瓶颈。充分满足客户海量大数据存储与分析的需求的同时可以有效提高资源利用率,确保数据高可用。
安全可靠
基于分布式架构技术,TDFS提供数据多副本冗余存储,确保数据的持久性以及服务的可用性,不受临时故障的影响从而实现异地容灾、资源隔离。
数据管理
TDFS提供文件目录结构,支持数据批量导入和导出的时候以文件形式进行数据交换。
高并发
TDFS有着类似传统文件系统的树形目录结构,支持用户快速的进行创建目录、目录存取,检索、查看目录下的统计信息及进行权限管理等操作。此外,TDFS有着更高的并发度,单个存储对象的操作也更快。
兼容生态
基于分布式存储架构,TDFS 在通信协议上兼容 HDFS 协议,可直接替换 NameNode,融入 Hadoop 社区,0 成本对接Hadoop生态系统及星环自研上游组件。
选择TDFS八大的理由
资源高度利用
TDFS实现对象存储以及文件存储结构的双支持,支持大多数存储场景。后续将开发出更多新特性,全方位满足不同业务场景需求,高效发挥资源灵活性以及利用率。
高度可控
TDFS从底层架构到上层接口均由星环自研开发,用户拥有更强的掌控力。
多组件无缝集成
依托于星环强大的自研能力,TDFS结合星环内部组件将大数据存储效率推到新高度,为业务提供低延时、高吞吐、高并发的存储能力,并支持“实时”的业务场景使用。
弹性伸缩
结合自研 Raft,新的 TDFS NameManager,BlockManager 节点加入集群时,其 Raft 节点自动成组,自动同步历史数据,退役的节点自动踢出 Raft 组,从而实现无感知的集群扩容缩容。
优秀性能
TDFS摒弃 QJM 高可用方案,结合Raft,使 TDFS 在节点宕机的情况下重新选主,继续服务,低成本切换主备。其共识机制保证各节点数据强一致性,多副本分区容错。TDFS 的 BlockManager 节点将块信息维护在了内嵌数据库当中,每次启动无需全量进行 block report,有效解决了block report storm等问题。
轻量缓存
TDFS将元数据存在轻量级内嵌数据库中,仅使用部分内存缓存,有效解决了大量小文件存储引发的内存瓶颈问题。
轻松运维
不同于传统的 HDFS + Zookeeper, 自研 Raft 作为 TDFS 核心部分,它不需要单独启动服务进程,减轻了运维成本,使 TDFS 更加内聚,也避免了外部服务的不稳定性。
底层语言开发
TDFS 依托于 Rust 语言独特的内存管理机制,无需进行垃圾回收,更不会造成因 GC 带来的“卡顿。其提供编译器检查,可以有效减少各类异常以及并发问题,并且无需额外分配堆内存,内存用完即释放,无动态回收,有效减少成本。
应用场景
数据湖
统一的存储池,存储任意规模的结构化、半结构化、非结构化数据。
数据仓库
为数仓提供高性能、高可靠、低时延、低成本的海量存储系统。
湖仓一体化
结合分布式文件及对象存储系统两个系统的特性,支持大多数存储场景。
数据迁移
数据快速、平滑、安全地迁移数据及对象存储至TDFS。
星环科技,构建明日数据世界