星环科技TDH大数据基础平台能够满足用户不同应用场景的需求

近日，绿色计算产业联盟“服务器典型应用场景性能评测行动”正式启动，本次评测行动包括大数据、分布式存储、Web应用、高性能计算、集中式关系型数据库管理系统、ARM原生云手机、虚拟化7大服务器典型应用场景。星环科技大数据基础平台Transwarp Data Hub（TDH），经由中国电子技术标准化研究院作为国家权威检测机构及绿色计算产业联盟专业评测团队进行权威评测，最终顺利通过《服务器应用场景性能测试方法大数据》标准评测。

本次测试选用了四台Arm服务器和四台X86服务器进行对比，软件层面Arm服务器集群使用的是星环科技的TDH大数据软件，X86集群使用的是开源软件CDH。

TDH是星环科技自主研发的企业级一站式多模型大数据基础平台，经过多年的快速演进，不断发展成熟。

TDH采用“四层统一的多模型技术架构”，包括了11款核心产品：实时流计算引擎Slipstream、关系型分析引擎Inceptor、宽表数据库Hyperbase、搜索引擎Scope、文档数据库DocStore、图数据库StellarDB、时空数据库Spacture、时序数据库TimeLyre、键值数据库KeyByte、事件存储库Event Store、数据科学平台Sophon Discover，能够满足用户不同应用场景的需求。同时配套Aquila Insight、Manager、Audit、Guardian等工具，使TDH的安装、管理、开发、运维、升级十分便捷，给用户带来极致的开发和运维体验。

目前，TDH在政府、金融、能源、运营商、交通等各行各业积累了丰富的部署实施经验，并且不断向大数据技术新兴前沿领域进行持续探索和深入研究。 通过部署、安装、使用TDH，企业能够更有效的利用大数据平台构建核心商业系统，加速商业创新。

NoSQL数据库场景，测试结果以X86结果为基础，作了归一化处理。星环科技TDH结合Arm服务器平台与开源大数据软件部署在X86平台相比，1T数据使用ImportTsv方式批量导入耗时差距不大，均为40min左右。随机写、随机读和范围扫描场景下，在吞吐量上Arm结果均要领先于X86结果，平均在13%左右。

搜索分析场景，吞吐量指标上Arm结果领先X86结果较多，平均在52%左右，表现出了较大的性能优势，时延数据上两者差距不大。核心组件Scope中每个EsNode进程存在多种线程池，包括与查询相关的search、get线程池、与入库相关的bulk线程池；该类型的线程池线程数量被固定为节点CPU核数，因此Arm处理器的多核特点，具有天然的性能优势，可以增大数据处理并发度，降低响应时延。

流处理测试项以1000w条数据量为输入参数，ETL场景下单线程写入kafka partition为1的topic时Arm上流处理组件的吞吐达25万条/秒，而X86的吞吐为20万条/秒，且用时更短。Filter场景与ETL场景类似，Arm平台上的结果均表现出了一定的优势。窗口场景下对窗内数据进行计数时，TDH在Arm上的结果与Flink在X86上的结果相差不大。核心组件Slipstream计算框架是分布式并行流计算框架，其任务由taskslot数量决定并发度，taskslot数量取决于CPU物理核数。Arm处理器的多核特点可以增大流处理的并发度，提升数据处理效率。

数仓/数集场景下，星环科技TDH结合Arm服务器平台较开源大数据软件部署在X86平台的测试结果平均领先幅度较大。分析平台通过多任务并发，解决海量数据的处理问题，CPU核数越多，任务并发度越高，任务处理性能越高。这主要得益于TDH强大的离线、在线处理分析性能。另外，在硬件层面，Arm处理器相比业界主流处理器，其特点是多核计算，物理核数高，能够提升任务并发度，对加速大数据的计算性能也有一定的帮助。

星环科技TDH产品特性与优势

自主研发

TDH核心技术自主研发，满足信创验收要求

主流信创生态厂商的适配兼容，国产CPU、GPU、操作系统、服务器、中间件

完整多模型能力

9种存储引擎支持10种数据模型：关系型分析、图、宽表、文档数据库、时序数据库、时空数据库、键值数据库、事件存储库、搜索引擎、对象存储

统一SQL引擎

支持SQL2003、OraclePL/SQL、兼容Oracle、DB2和Teradata方言

支持完整的分布式事务操作；

全产品线的SQL统一访问和开发

统一存储管理

基于Raft一致性协议，具备自动故障迁移、数据修复能力

支持单节点稳定存储百万数据分片

支持横向动态线性扩展

一次数据写入，多种数据模型存储

统一资源管理框架

采用容器编排技术进行资源管理

支持基于优先级的抢占式资源调度和细粒度资源分配

资源隔离互不影响，支持集群在线扩缩容

支持服务器、操作系统异构部署

高性能分布式文件系统

基于Raft一致性协议，兼容Hadoop生态

全量缓存元数据，小文件存储无瓶颈，支持10亿以上文件数，远超开源HDFS 5倍

高并发、高吞吐对象存储

审核编辑：彭静