产品功能
Transwarp Data Hub(简称TDH)是星环信息科技(上海)有限公司研发的企业级大数据平台,经过这些年的快速成长,不断发展成熟,在邮政、交通、金融等行业获得了大量的部署实施经验,同时向新生的大数据技术领域进行积极的拓展和探索。
Transwarp Data Hub主要提供5类核心产品:分析型数据库(Transwarp Inceptor和Transwarp ArgoDB),实时流计算引擎(Transwarp Slipstream),知识库(Transwarp Search和Transwarp StellarDB),操作型数据库(Transwarp Hyperbase),数据科学平台(Transwarp Discover)。通过部署、安装、使用TDH,企业能够更有效的利用数据构建核心商业系统,加速商业创新。
极致的性能与可扩展性
TDH的批处理速度是开源Hadoop的10-100倍,是MPP的5-10倍,可以对从GB到PB级的数据量实现复制的查询和分析。TDH具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。
丰富的机器学习功能
Transwarp Discover支持用户通过R语言和Python开发机器学习项目,也可以用图形化的工具做分析,提供了多种算法和行业模型。
简易的操作和管理
Transwarp Manager是专门用于部署、管理和运维TDH集群的组件。它支持产品一键安装、一键升级和图形化运维,并提供了预警和健康监测功能,帮助用户简化运维过程。
图形化的大数据开发工具套件
Transwarp Studio包括TDH中的工作流调度工具Workflow、大数据开发工具Transporter、Cube设计工具Rubik、元数据管理工具Governor、报表工具Pilot、SQL开发工具Waterdrop以及流任务管理工具Slipstream-studio。
完整的SQL和ACID支持
Transwarp Inceptor是实现完整SQL支持的分析型分布式数据库产品。它不仅支持SQL2003,兼容Oracle PL/SQL和IBM SQL/PL,还实现了完整的ACID/分布式事务和CRUD增删查改功能。Inceptor提供JDBC和ODBC驱动连接,方便第三方工具运行于TDH之上。
多样化的数据处理功能
Transwarp Hyperbase用于存储和计算结构化或非结构化数据,包括日志记录、JSON/XML文件以及二进制数据(如图像和视频)。Hyperbase底层是KV数据库,因此其非常适合高频次的数据入库、高并发精确检索等业务。
低延迟的流处理
Transwarp Slipstream是在事件驱动计算引擎上支持批处理等复杂编程模型的流处理引擎,计算延迟最低可至5ms。它支持SQL 2003、存储过程、CEP、规则引擎、流式积分、流式机器学习等复杂编程模型,还支持高可用性(HA)和Exactly-Once的语义,从而支持7×24小时的生产业务。
容器技术与大数据平台
TDH可部署于TCOS之上。TCOS是为大数据应用量身订做的云操作系统,支持一键部署TDH、扩容、缩容、同时支持基于优先级的抢占式资源调度和细粒度资源分配。
大数据上的全文搜索
Transwarp Search支持通过SQL实现大数据上的秒级全文搜索,它利用层次化存储、堆外内存管理等创新技术,极大的提高了系统的可用性。此外,Search还可以结合Inceptor提供较强的数据分析能力。
统一的安全多租户管理
Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台,它支持Kerberos和LDAP认证,可以做细粒度的权限控制,并且提供租户管理功能。
目标市场
通过多项TPC系列基准测试
TPCx-HS
全球首个通过TPC-DS的产品
在TPC-DS 1TB测试中,Inceptor相对于Impala 2.6有2.3倍的性能提升,对于Spark 2.2有2.5倍的性能提升。我们以1TB的数据库为对象进行测试,发现在OLAP Cube的加速下,TPC-H在Inceptor中的运行速度比SparkSQL和Greenplum快近100倍。
完整SQL支持
SQL2003,PL/SQL,SQL PL以及SQL扩展支持
容器化应用
采用容器技术以及容器编排技术进行资源管理
机器学习开发支持
为终端用户提供R语言接口进行数据挖掘
高级搜索引擎
支持SQL语法实现PB级别高速全文检索
界面化集群管理
提供了可视化的界面管理以控制分布式集群