第四代英特尔® 至强® 可扩展处理器助力星环科技分布式向量数据库 Transwarp Hippo 释放大模型价值

大语言模型主导的生成式 Al 开始渗透到各行各业，并正在与企业应用结合，重塑企业应用中人与数据的交互方式，帮助企业释放生产力价值。例如，在金融行业，大模型可以帮助银行更好地分析客户情况，提供更加精准的金融服务；在医疗诊断领域，大模型通过分析大量的医学数据，提高诊断的准确性和效率。然而，企业在将大模型与企业应用相融合过程中，还存在着一些挑战：

01存在" Al 幻觉"问题

大模型训练周期长且输入 token 存在限制，无法及时地将实时、快速变化的信息数据和领域知识内置到模型当中，大模型存在“答非所问”现象。

02海量数据处理性能不足

向量维度逐渐增高，数据计算量呈指数级上升，数据处理的实时性要求不断提高，大模型的数据处理能力和性能存在很大挑战。

03总体拥有成本 (TCO)高

日益增长的数据和计算压力，以及模型二次训练的高成本，给企业大模型构建和运营等带来了巨大的 TCO 压力。

大语言模型正迅速地应用于各行各业，改变用户与企业产品和服务之间的交互方式，帮助企业提高效率、降低成本、优化流程。尽管大模型具有巨大的潜力，但其训练、维护和技术难度要求极高，成本也非常昂贵。通用大模型在应用于特定领域时普遍存在回答不精准，“答非所问”的现象，而专属大模型又存在训练时间较长，算力需求较高等问题。通过引入向量数据库，实现大模型＋向量数据库的架构为企业解决上述问题提供了有效的解决方案。

星环科技企业级云原生分布式向量数据库TranswarpHippo支持存储、索引以及管理来自深度神经网络或者各类机器学习模型所生成的海量向量数据，提供向量相似度检索、混合检索等能力，能够拓展大模型的时间边界和空间边界，使得大模型拥有“长期记忆”的同时保护数据隐私，帮助企业用户解决大模型应用时实时性不够、二次训练周期长成本高、答非所问等问题。

为了更好地帮助企业应对大模型时代海量、多维向量数据的高并发和实时计算等挑战，星环科技与英特尔合作，推出了基于第四代英特尔至强可扩展处理器TranswarpHippo分布式向量数据库解决方案，通过软硬件深度融合，满足大模型时代海量、高维向量的存储和计算需求，为用户构建高性能向量数据库系统和大模型应用提供了重要依据和选型方向。

同时，星环科技作为一家企业级大数据基础软件公司，为企业提供大模型应用开发全周期的技术和产品，通过TranswarpHippo向量数据库和大模型统一运营管理平台 Sophon LLMOps 、金融大模型Transwarp Infinity“星环无涯” 、大数据分析大模型 Transwarp Solar “星环求索”等产品组合，帮助每个企业更快、更精确地打造真正符合实际需求的专属领域大模型。

软硬件深度融合，激发强劲性能

第四代英特尔至强可扩展处理器是英特尔公司 2023 年发布的数据中心处理器，凝聚了英特尔数十年来在数据中心、网络和智能边缘等领域积累的技术经验，采用全新架构，提升了单核性能，每路配备多达 60 个内核支持 8 通道 DDR5 内存，有效提升了内存带宽与速度，并通过 PCle 5.0 (80 个通道)实现了更高的 PCle 带宽提升。第四代英特尔至强可扩展处理器提供了出色性能和安全性。以结果为导向、工作负载至上，为 AI、云、网络、边缘和全球领先的超级计算机带来全新功能。

第四代英特尔 至强 可扩展处理器与星环科技 Transwarp Hippo 分布式向量数据库软硬件融合的深度优化:

使用 AVX512 扩展指令集重写向量距离计算函数，显著降低向量计算需要的 CPU 指令数量与 CPU 时钟周期，充分发挥第四代英特尔 至强 可扩展处理器高内存带宽的优势 NUMA 友好的向量计算负载调度算法，避免 CPU 远程内存访问造成 CPU 阻塞，充分发挥第四代英特尔 至强 可扩展处理器多核性能的优势 基于数据离散度的浮点数矢量化算法，充分利用 VNNI 指令集，进一步提升向量计算性能

通过配置第四代英特尔至强可扩展处理器，星环科技 Transwarp Hippo 在向量索引层面实现了 20%~30%¹的性能提升，可全面满足个性化推荐、智能问答、大模型应用等场景对向量数据库系统计算能力的要求。

图1. 基于第四代英特尔至强可扩展处理器 AVX512 的 Hippo向量索引库与开源 Faiss 查询性能¹

图2. 基于第四代英特尔至强可扩展处理器 AVX2/AVX512 的Hippo 向量索引库查询性能¹

用户收益 专业向量数据库——解决大模型的局限性

通过将最新的信息语料存储在Transwarp Hippo 向量数据库中，能够让大模型保持信息实时性，使大模型拥有“长期记忆”；协助企业解决大模型数据泄露隐私问题，拓展大语言模型的空间边界；通过多模态信息向量化存储以及近似检索、混合检索等能力帮助大模型解决 “Al 幻觉”问题。

高扩展——敏捷地满足大模型发展需求

随着大模型场景的深入化和丰富化，数据多模态加剧，如文本、图像、音频和视频等，向量数据维度也逐渐增高，数据量呈现爆炸式增长。星环科技 Transwarp Hippo 可以按需水平扩展，利用容器技术支持服务弹性扩缩容，可以满足企业大模型未来发展对海量向量数据的存储和计算需求。

更高性能——应对大模型应用带来的挑战

海量、高维度向量数据处理，以及低时延和高精确度等要求给向量数据库性能带来了巨大挑战。通过与第四代英特尔 至强 可扩展处理器的深度融合，星环科技Trans warp Hippo 可以更好地帮忙用户应对大模型应用带来的挑战，更高效地挖掘大模型应用价值。

降低 TCO ——提升大模型投资回报率

基于星环科技Transwarp Hippo 向量数据库可以大幅降低大模型二次训练成本，加速大模型业务上线和创新。同时，自带Embedding工具和模型、高扩展、以及与第四代英特尔 至强 可扩展处理器深度融合带来的更高性能等特性可满足企业业务发展需求，提升大模型建设的投资回报率。

展 望

基于第四代英特尔至强可扩展处理器的星环科技 Transwarp Hippo 分布式向量数据库显著提升了数据库系统的整体性能表现，使其成为用户构建大语言模型方案的理想选择。借助该方案，用户可以便捷、高效打造大模型应用，激发更多的 AI 场景业务。

星环科技与英特尔将继续深化软硬件技术融合能力，围绕 Transwarp Hippo 向量数据库，结合星环科技大模型开发工具 Sophon LLMOps、金融大模型 Transwarp Infinity “星环无涯”、大数据分析大模型 Transwarp SoLar “星环求索”等产品，为用户提供大模型应用构建的全栈基础软件和工具，帮助金融、能源、交通等各个行业的企业更高效、更精确地打造专属领域大模型，促进生产力提升，加速业务创新和价值实现。

参考资料：

1截止 2023 年10月由星环科技与英特尔共同开展的测试。测试配置:双路第四代英特尔 至强铂金 8480+处理器，56核，启用睿频加速技术，关闭超线程，512 GB总存(16x32 GB DDR4 3200 MHz),BIOS EGSDCRB1.SYS.0090.D03.2210040200, ucode 0x2b0000c0,1x MT27800 Family [ConnectX-5，25Gb/s]，2x 480 GB英特尔SSDSCKKB48，Red Hat Enterprise Linux 8.6 (0otpa), 4.18.0-372.9.1.el8.x86_64,Transwarp Hippo 1.2,Faiss 1.7.4.实际性能受使用情况、配置和其他因素的差异影响。更多信息请见 www.intel.com/Performancelndex

2,3,4,5实际性能受使用情况、配置和其他因素的差异影响。更多信息请见www.intel. com/Performancelndex