实时计算
云上的流处理平台,对流式数据进行实时采集和实时处理,帮助企业构建在线实时应用,充分挖掘流数据价值。
产品功能

将SQL用于流式应用开发

完整支持Stream SQL标准(包含流扩展后的SQL 99)。开发人员可以直接用SQL取代API来编写流计算程序,因而无需考虑任何打包或部署,具有较低的入门门槛,同时降低基于SQL和PL/SQL的业务的迁移成本。

微批处理+事件驱动

支持微批处理和事件驱动两种处理模式,同时支持服务低延时和高吞吐的两种计算场景。事件驱动模式下,计算任务由数据触发,实现低至5毫秒的延迟,用于开发对时间延迟敏感度较高的应用;微批处理模式下,提供单节点百万级别的超高吞吐量,适合于对吞吐要求较高的场景。

Exactly Once语义支持

在高可用性的保障下,保证数据不丢不重,无论数据的重放次数,始终保证输出数据和输入数据一致。

复杂事件处理(CEP)

支持用SQL 定义复杂的数据处理规则和逻辑,动态感知外界事件特征变化,根据变化情况或者典型属性执行既定策略,创造接近实时的高度响应。适用于银行卡盗刷检测,机械故障告警,关键客户识别等场景,帮助企业提升综合竞争力。

数据持久化

支持将实时流数据持久化于存储引擎,做实时在线检索、准实时分析,或者用于构建数据仓库、数据集市,成为日后分析处理的资源。

流上数据挖掘

TDH-RC将数据挖掘算法函数内置于SQL,使数据挖掘算法可作用于流上数据,允许机器学习应用运行在事件驱动的流引擎。

产品优势

灵活的场景支持

可以灵活的为低延时和高吞吐两种场景提供服务,满足不同的大规模数据处理需求。处理模式的切换由参数开关控制,方便易操作。

高效的开发和运维工具

与可视化报表工具实现对接,以视觉方式进行实时的流式数据分析。同时还提供指标监控和日志管理工具,对异常状态提供报警,简化运维。

易用好上手

提供SQL用做流数据处理与应用开发的语言,内置多种SQL自动优化策略,支持事件时间、会话窗口和无限长窗口,支持实时数据之间以及与静态表的关联,提供可视化报表分析支持,产品化程度高,对开发技能要求低。

安全保障

受到Guardian的全面保护,为租户提供可靠地认证机制,防范安全漏洞和攻击,实现资源管理和行级列级的权限控制,在云环境下进行安全管控,保护用户隐私和信息安全。

稳定高可用

定期将数据在HDFS上做轻量级分布式Checkpoint,利用HDFS冗余机制备份恢复数据。通过故障自动切换转移,确保系统随时稳定可用,维护业务的连续性。保障数据可靠,服务可用。支持流控。

应用场景

缉查布控系统

金融风险管理

生产设备安全预警

构建公路车辆智能监测记录系统,汇聚卡口车辆通行信息,捕捉违规现象,实现车辆轨迹追踪。同时将通行信息和布控信息之间进行对比,对可疑对象发出预警,通知路面民警对预警车辆拦截处置。也可以实现交通流量监控,嗅探流量增幅异常高的路段。为打击违法犯罪工作、预防和减少道路交通事故、控制交通流量提供技术支撑。

为实时风控和实时反欺诈提供技术支持。利用TDH-RC对于流计算的超强表达能力,实现复杂的应用逻辑,对于从生产系统通过实时消息队列进入计算集群的实时交易数据,完成数据转换、特征提取、探索分析,检测异常的金融交易行为,将结果最终以消息或者页面等形式输出。

实时收集从生产设备传感器采集的数据,监测设备在某个时间窗口内的异常状态和异常变化,分析是否存在潜在的安全隐患,提供消息实时警报。支持状态持久化,留存并汇总数据记录,用以进行事后安全分析。实现事前预警、事后分析、故障预测,对生产设备提供信息化的全面安全保护。