搜索引擎
PB级别的高速全文检索服务,提供高并发支持,以及字段精确、模糊检索和快速统计功能,支持用SQL做内容检索。
产品功能

全文搜索

支持全文检索,提供精确和模糊的字段查询功能。可跨越数据源、数据格式实现检索,结果返回文件路径和关键词出现的片段,高亮显示查询内容,检索结果按照关联度排序。

利用SQL做检索与分析

TDH-IR支持SQL2003语法及全文检索相关扩展,支持检索语义,同API编程相比,采用SQL不仅可以利用编译器的优化能力提供优秀的执行性能,而且可以避免底层存储升级引入的兼容性问题。同时,用SQL对检索结果进行复杂分析处理,实现比单纯数据检索更高级的信息探索能力。

混合存储

TDH-RI采用冷热数据存储分层的模式,将热数据置于SSD,利用SSD的高IOPS满足大量热数据随机访问,而冷数据置于SATA,满足历史数据查询,从而降低硬件成本,大大提升性能。

标准化的服务接口

方便内部IT应用快捷完成数据接入和数据访问,有利于整合不同信息系统,便于数据搜索,获取所需信息。

产品优势

SQL自动优化

执行引擎内置SQL优化器,对语句实现自动优化,加速查询与业务实现。同时利用存储层做预处理,支持算子下沉,提高查询效率。

高稳定性

采用堆外内存管理技术,提高服务稳定性。TDH-RI将索引移到堆外,解决了因持久化索引在堆内积压,引起Full GC导致稳定性的问题。充分利用系统内存资源,提升单机存储上限。

适应超大规模数据集

TDH-RI通过支持分区表满足超大规模数据集的构建需求,同时采用精细的内存管理模型,提升海量数据检索稳定性,轻松应对PB级数据量搜索,保证检索的可用可靠。

安全保障

受到Guardian的全面保护,为租户提供可靠地认证机制,防范安全漏洞和攻击,实现资源管理和行级列级的权限控制,在云环境下进行安全管控,保护用户隐私和信息安全。

应用场景

企业数据搜索引擎

日志采集与分析系统

商业分析

TDH-RI可用于构建企业内部搜索引擎,根据指定的规则策略,在海量的结构化和非结构化数据中实现对目标关键字的搜索,返回并高亮匹配目标内容片段,按照同查询内容的相关性显示搜索的结果。同时支持根据记录的历史查询内容,自动提供搜索推荐,构造高效精确的搜索引擎。

广泛采集汇聚不同系统的日志,对重要关键字进行转化、检索、解析与分析,检测系统中的隐藏问题和漏洞。同时对接可视化平台,通过生成图表进行更高级直观的分析,协助发现未知攻击,提升效率和识别力。另外为用户提供关键字检索接口,使人工处理协助自动分析,实现更具针对性和精确度的日志分析功能,打造日志处理的瑞士军刀。

在海量数据中快速定位关键信息,进行分析聚合,充分利用隐藏在非结构化数据中的信息,锁定某类用户的属性和行为特征,从而制定相应策略或作出决策。例如通过分析产品的购买群体、消费者的消费特征、销售额的变化情况与趋势等,构建商业智能平台。