Transwarp Workflow
星环计算任务调度与管理工具
分布式、可扩展,提供日均百万级任务调度能力
产品简介
Transwarp WorkfIow是数椐任务的调度平台,帮助用户通过图形化的界面设计完整的业务流程、设置执行时间、定义任务之间的依赖关系,并自动调度所设流程,允许取消超时任务、重试错误任务等来提供任务可靠性,能够支持日均百万级任务的分布式调度系统。
Workflow令人青睐的8个理由
优越的性能
分布式的调度引擎,性能可扩展,可支持日均十万任务流级别的稳定调度工作。
图形化设计
通过画布式拖拽设计,能够完成整个任务流编排设计以及各个任务的配置。
丰富的任务类型
支持多种类型的任务调度,包括数据开发类任务(SQL任务、脚本任务)、数据整合任务(数据同步、数据加载)、数据质量检查任务等等。
灵活的调度周期
可以简单配置每日一次的定时调度,也可通过cron表达式配置复杂灵活的调度周期,也可通过外部触发的方式进行任务调度执行,适配更多实际场景。
公平优先级调度策略
通过按比例分配资源的多调度队列设计,在按优先级调度任务的同时,避免了高优先级任务长时间占用全部资源而导致低优先级任务饿死的问题,实现了公平优先级调度。
去中心化分布式架构
使用多调度+多执行节点实现分布式的任务调度和执行,支持调度节点和执行节点的在线扩缩容,对现有业务零中断,同时满足高可用、负载均衡以及水平扩容的需求。
高并发、低延迟
通过无锁化设计、动态并发控制、资源池化控制等设计,减少任务在调度过程中的自身开销,降低调度延迟,提高系统吞吐,结合支持水平扩展的调度能力,支撑起日均百万级任务的调度能力。
高稳定性容错设计
加入对服务依赖的数据库、网络等资源的监控,在数据库或网络发生抖动或短时间不可用时,在保证业务幂等的前提下自动重试,保障系统在高负载环境下的长时间稳定运行。
星环科技,构建明日数据世界