CN - 简体中文
联 系 我 们
售前咨询
产品、解决方案咨询
售后咨询
微信关注：星环科技服务号
更多联系方式 >

搜索引擎数据库

国产化替代

Transwarp Scope助力企业Elasticsearch国产化替代
Elasticsearch国产化替代
近年来，随着国内企业对自主可控和安全合规性要求的不断提高，国外开源软件如Elasticsearch等越来越难以适应企业发展的需求。Transwarp Scope是星环科技自主研发的企业级分布式搜索引擎，提供PB级海量数据的交互式多维检索分析服务，覆盖模糊匹配，精确查询，多维检索等各类检索类场景，满足数据检索多样化需求。同时高度兼容Elasticsearch生态，可实现Elasticsearch业务的平滑迁移，助力企业构建稳定可靠、安全易用的自主可控搜索平台。
问题与挑战
数据保护能力不足
Elasticsearch开源版本数据保护功能存在不足，在数据层采用了简单的主从 终一致性模型，副本和主副本不能保证数据强一致性，存在数据丢失风险。
数据读写性能不足
Elasticsearch在数据读写性能方面存在不足，如压缩率不足，数据膨胀率高，读写策略优化不足等都大大降低了数据读写的效率。数据读写性能受限，直接影响查询操作的并发度和数据入仓的效率。
集群扩展性能不足
Elasticsearch在集群扩展上存在瓶颈，其采用P2P架构和排队模型处理一些状态同步和元数据改变等操作时，效率比较低。在项目实践中，当节点（或实例）规模超过100个时，特别是多种任务并发的情景下，集群压力大，容易触发节点接连失联的问题。
硬件和运维成本高
Elasticsearch单节点支持的数据量 多到20TB左右，在项目实践中客户通常在每台服务器上部署多个Elasticsearch实例，而如此多的实例将会带来不稳定问题，触发节点失联，运维成本高。反之，如果每台服务器配置较少容量的磁盘，那么用户将付出非常高的硬件成本。而当节点数超过100时，同样会有稳定性问题。
存在安全和技术风险
Elasticsearch的核心技术路线和发展方向受制于外部，开发和维护也主要依赖国外团队，无法真正实现自主可控，给国内企业特别是政府、金融、能源等关键领域的用户带来了潜在的安全隐患和技术风险。
Scope可平滑替代Elasticsearch
Transwarp Scope聚焦于Elasticsearch检索场景替代，高度兼容Elasticsearch接口，可实现Elasticsearch业务的平滑迁移
优势介绍
平滑替代Elasticsearch
Transwarp Scope兼容常用Elasticsearch的接口，可实现Elasticsearch业务的平滑迁移。星环科技提供多种数据迁移方案，用户可根据实际情况灵活选择。经过大量项目的实践和经验，星环科技建立了成熟标准的Elasticsearch平滑迁移方法论，通过调研评估、方案测试和上线保障“三步”策略，全程保障数据与业务的平滑迁移。
多生态兼容
除了兼容以上Elasticsearch接口，Scope还兼容PostgreSQL协议以及Spark等大数据产品的接入。同时，Scope还提供完备的SQL语法支持，满足传统数据库迁移到Scope的需求，通过星环科技SQL编译器QUARK实现大数据基础平台TDH内部的完整数据流转方案。
性能全面提升
相较于Elasticsearch，用户迁移到星环科技Transwarp Scope之后，可以实现海量存储能力，大大降低用户硬件和运维成本，数据读写性能、日志分析性能和数据检索性能大幅提升，可确保百节点以上规模集群稳定运行，强一致性写入能力确保读写数据不丢。高可用性可以确保故障分钟级重启恢复。而在安全方面，内置的安全授权、访问控制机制充分保证系统数据安全。
降低硬件和运维成本
针对ES集群稳定性不足导致的硬件和运维成本较高问题，Transwarp Scope对内存进行创新优化，提高单集群单节点容量上限，单实例可突破至百TB的数据存储，是Elasticsearch的5倍以上，大大降低用户硬件成本。同时通过多进程架构，充分利用集群CPU和内存资源，读写压力分流，满足更高的并发需求，提高集群稳定性、降低运维成本。
全方位数据安全保障
Transwarp Scope内置配套的安全授权、用户权限控制等相关安全功能，可以有效保障系统数据和访问上的安全。用户权限认证方面，基于SASL提供plain与gssapi两种认证方式；数据权限方面，提供基于角色的访问控制（RBAC）机制；数据加密方面，支持基于SSL/TLS两类协议进行数据加密，确保数据传输过程的安全。
自主可控满足信创要求
Transwarp Scope是星环科技自主研发的搜索引擎，通过了工信部源代码扫描测试。已完成与主流信创生态厂商的适配互认工作，支持适配长城飞腾、华为泰山、龙芯等服务器架构，同时满足麒麟，UOS等操作系统，满足信创要求和国产化替换需求。
客户案例
  • 某政府单位Elasticsearch国产化替代
客户需求
○ 某政府单位原先使用开源Elasticsearch，随着内部系统数据量的高速增长，总数据量超几十PB，单张表达百亿条级别，在不断扩容下节点数达Elasticsearch上限，稳定性经常出现问题，同时当集群出现问题时，Elasticsearch重启需要小时级别，集群恢复速度慢。在性能问题方面，读写资源无法隔离，拖累查询性能，系统设计为读写两套集群。
解决方案
○ 基于星环科技大数据基础平台TDH构建大规模数据综合搜索平台，Slipstream做实时数据引擎，清洗分析并入库到Hyperbase与Scope的综合搜索库中，提供基于几十PB数据量的快速查询和搜索能力，集群规模达200个节点。
项目成果
融合人、地、物、事、组织与视频/图片等因素，通过星环TDH构建一站式搜索平台，实现了PB级数据统一存储、检索满足海量数据毫秒级响应，高并发、快速统计、字段精确与模糊查询等复杂组合场景，指定条件查询1s内返回并支持上千并发，并通过单节点存储容量比开源高5倍的优势，降低了客户硬件投资成本。
相关产品推荐

星环科技,构建明日数据世界