0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英特尔携手Aible打造创新解决方案,助力企业实现低成本智能化升级

looger123 来源:looger123 作者:looger123 2024-07-03 19:17 次阅读

对于需要运行生成式AI工作负载的企业来说,基于英特尔至强处理器的Aible无服务器解决方案可帮助其降低成本、提高智能化,并有效提升RAG及微调效率

近日,英特尔与端到端Serverless(无服务器)生成式AI和增强型分析方案提供商Aible合作,为企业客户提供了创新的解决方案,助力其在不同代际的英特尔®至强®CPU上运行生成式AI与检索增强生成(RAG)用例。此次合作包含了工程优化和基准测试项目,显著增强了Aible以低成本为企业客户提供生成式AI结果的能力,并帮助开发人员在应用中部署AI。在双方的通力合作下,该可扩展、高效的AI解决方案可通过高性能硬件帮助客户迎接AI挑战。

wKgZomaFM1yAEigTAAN8h0PVHGc421.png

英特尔至强处理器

英特尔数据中心人工智能事业部高级首席工程师Mishali Naik表示:“现在,客户正在寻求高效的企业级解决方案以充分释放AI潜力。我们与Aible的合作,也表明了英特尔正与行业紧密协作,推动AI创新,降低客户使用英特尔至强处理器运行最新生成式AI工作负载的门槛。”

至强处理器的生成式AI性能:Aible的解决方案展示了CPU如何显著提升从运行语言模型至RAG的一系列最新AI工作负载性能。基于针对英特尔处理器的优化,Aible技术采用高效、智能的“端到端无服务器”方法,仅在产生用户请求时才会进行资源消耗。例如,基于用户查询,向量数据库仅需几秒即可激活并检索相关信息,而语言模型同样只需简单启动即可处理并响应用户请求,这种按需操作的运行模式有助于企业降低总拥有成本(TCO)。

虽然在多数情况下,RAG功能需通过利用GPU和加速器的并行处理能力来实现,但Aible的无服务器技术与英特尔至强处理器相结合,可使RAG用例完全由CPU来驱动。性能数据显示,多款不同代际的英特尔至强处理器均可高效运行RAG工作负载。

wKgaomaFM1yAWfmOAAOFuDBs-Nk034.png

配置详细信息如图,结果可能会有不同

重要意义:Aible通过无服务器的方式使用CPU,可在多个客户之间更为安全地共享底层计算资源,从而帮助客户有效降低生成式AI项目的运营成本。这种降低成本的方式可以类比为用户仅需在使用时购买电力,而非直接租赁发电机。此外,随着生成式AI需求的增长,性能优化和节能降耗变得愈发重要。Aible所提供的基于CPU的服务,为客户提供了一种经济、高效的解决方案。

根据Aible的基准测试分析,当客户采用基于CPU的无服务器解决方案运行RAG模型时,成本节省可高达55倍1。大幅降低的成本证明了Aible独家方法的有效性,同时这种无服务器的CPU采用方式也减少了通过共享服务或专用服务器构建更为昂贵的、基于GPU的基础设施需求。

此次英特尔及英特尔实验室与Aible的合作,共同优化了至强处理器上的AI工作负载。值得一提的是,通过优化Aible针对AVX-512的代码,Aible在至强处理器上实现了显著的性能及吞吐量提升,这也彰显了战略性的软件优化对于整体效率的影响。

在Aible平台的支持下,RAG模型与英特尔至强处理器的结合可推动以下应用落地:

自然语言处理(NLP)

推荐系统

决策支持系统

内容生成

英特尔与Aible的合作始于第四代至强处理器的发布。此后,双方针对至强处理器的AI工作负载、代码和库进行了一系列优化,并大幅提升了Aible的产品性能。

1英特尔不控制或审计第三方数据。您可咨询其他来源以评估准确性。

配置详情:

1节点,2x英特尔®至强® Platinum 8280L CPU,2.70GHz, 28核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 0 [0],DSA 0 [0],IAA 0 [0],QAT 0 [0],总内存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s]),BIOS SE5C620.86B.02.01.0017.110620230543,微码0x5003604,2x以太网连接X722用于10GBASE-T,1x 894.3G英特尔SSDSC2KB96,1x 1.8T英特尔SSDPE2KX020T8,2x 3.7T英特尔SSDPE2KX040T8,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.04。基于英特尔03/07/24的测试。

1节点,2x英特尔®至强® Platinum 8462Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s]),BIOS 05.12.00,微码0x2b0004d0,2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太网控制器,2x以太网控制器E810-C for QSFP,2x 3.5T三星MZQL23T8HCLS-00B7C,1x 1.8T三星MZ1L21T9HCLS-00A07,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.05。基于英特尔03/07/24的测试。

1节点,2x英特尔®至强® PLATINUM 8562Y+,32核心,HT开启,Turbo开启,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],总内存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s]),BIOS 3B05.TEL4P1,微码0x21000161,2x以太网控制器X710用于10GBASE-T,2x以太网控制器E810-C for QSFP,1x 894.3G英特尔SSDSC2KG96,1x 3.5T三星MZQL23T8HCLS-00A07,3x 3.5T三星MZQL23T8HCLS-00B7C,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基础容器2024.0.1-devel-ubuntu22.06。基于英特尔03/07/24的测试。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    10038

    浏览量

    172551
  • 智能化
    +关注

    关注

    15

    文章

    4993

    浏览量

    56019
  • 至强处理器
    +关注

    关注

    0

    文章

    23

    浏览量

    9224
收藏 人收藏

    相关推荐

    英特尔发布全新企业AI一体方案

    近日,英特尔正式推出了全新的企业AI一体方案。该方案英特尔至强处理器和
    的头像 发表于 12-03 11:20 305次阅读

    英特尔发布全新企业AI一体化解决方案

    加速器等先进硬件。此外,它还结合了OPEA开放软件平台,确保了方案的灵活性和兼容性。 作为该方案的首个落地实践,英特尔携手新华三共同发布了新华三AIGC灵犀一体机。这款一体机充分利用了
    的头像 发表于 12-02 10:48 605次阅读

    第17届英特尔互联网数据中心大会顺利举行

    深入探讨。会上,英特尔不仅展示了其通过丰富的软、硬件产品组合与创新解决方案加速云服务与AI应用落地,也携手与会客户基于丰富案例及解决方案进行了精彩分享。
    的头像 发表于 11-28 14:26 420次阅读

    英特尔助力百度智能云千帆大模型平台加速LLM推理

    “大模型在各行业的广泛应用驱动了新一轮产业革命,也凸显了在AI算力方面的瓶颈。通过携手英特尔释放英特尔 至强 可扩展处理器的算力潜力,我们为用户提供了高性能、灵活、经济的算力基础设施方案
    的头像 发表于 11-25 16:59 593次阅读
    <b class='flag-5'>英特尔</b><b class='flag-5'>助力</b>百度<b class='flag-5'>智能</b>云千帆大模型平台加速LLM推理

    英特尔与火山引擎飞连携手升级AI时代企业IT管理体验

    在 AI 技术的推动下,企业 IT 管理正经历一场革命。日前,火山引擎飞连新品发布会成功举办。英特尔受邀参与此次活动,并在会上展示了新一代英特尔凌动 x7000 系列处理器等产品,与火山引擎飞连
    的头像 发表于 11-14 17:17 611次阅读

    瑞萨电子携手英特尔推出先进电源管理解决方案

    全球半导体解决方案供应商瑞萨电子(TSE:6723)今日宣布与英特尔携手,推出一款电源管理解决方案,为搭载英特尔全新酷睿 Ultra 200
    的头像 发表于 10-25 10:57 470次阅读

    英特尔携手软通动力加速软硬一体融合创新

    随着大数据和云计算技术的发展,人工智能成为提升生产效率和优化资源配置的关键工具,推动企业加速从业务数字迈向业务智能化,在此背景下,继8月28日,软通动力与
    的头像 发表于 10-11 15:22 480次阅读

    英特尔携手震坤行发布智能物联聚合馆

    今天,英特尔与震坤行共同推出英特尔 智能物联聚合馆。这不仅是英特尔在物联网领域深度开拓市场的战略举措,也是其携手生态合作伙伴共同拓宽发展、优
    的头像 发表于 06-21 09:26 604次阅读

    用友携手英特尔发布《用友BIP+英特尔第四代至强私有部署蓝皮书》

    近日,由用友网络主办的“成就数智企业”2024大型企业数智峰会·西北峰会在陕西西安成功召开。在企业数智底座与数据
    的头像 发表于 06-15 11:28 1196次阅读

    英特尔携生态伙伴为企业AI发展注入新活力

    在Intel Vision 2024盛会上,英特尔公布了针对企业客户的全新AI战略,并展示了众多针对边缘和网络互联的创新产品。这些产品旨在为企业提供多样
    的头像 发表于 05-09 11:01 563次阅读

    携手打造开放AI生态,英特尔助力千行百业数智变革

    还分享了在互联网、教育、制造及医疗等垂直领域的诸多应用落地,深度展示其携手生态伙伴推动千行百业数智变革的进程。 构建高效解决方案,释放企业AI潜力 2023年被业界视为生成式AI的元
    的头像 发表于 04-19 16:23 517次阅读
    <b class='flag-5'>携手</b><b class='flag-5'>打造</b>开放AI生态,<b class='flag-5'>英特尔</b><b class='flag-5'>助力</b>千行百业数智<b class='flag-5'>化</b>变革

    英特尔OPS 2.0定义智慧教育新标准,助力行业创新升级

    ——OPS 2.0,并展示了基于该标准的多元行业领先解决方案,以进一步加速智慧教育终端与智能应用的创新与落地,开创面向未来的智慧教育新生态。 英特
    的头像 发表于 04-19 09:24 474次阅读
    <b class='flag-5'>英特尔</b>OPS 2.0定义智慧教育新标准,<b class='flag-5'>助力</b>行业<b class='flag-5'>创新</b><b class='flag-5'>升级</b>

    数字转型助力制造业:英特尔与阿普奇共推智能化升级

    AK系列,该系列采用英特尔®酷睿™处理器、英特尔®凌动®处理器与英特尔®锐炫™显卡,能够在工业智造领域助力用户优化资源配置、提升产品质量与生产效率,加速制造业的
    的头像 发表于 04-11 10:22 348次阅读
    数字<b class='flag-5'>化</b>转型<b class='flag-5'>助力</b>制造业:<b class='flag-5'>英特尔</b>与阿普奇共推<b class='flag-5'>智能化</b><b class='flag-5'>升级</b>

    Ansys和英特尔代工合作开发多物理场签核解决方案

    Ansys携手英特尔代工,共同打造2.5D芯片先进封装技术的多物理场签核解决方案。此次合作,将借助Ansys的高精度仿真技术,为英特尔
    的头像 发表于 03-11 11:24 798次阅读

    英特尔亮相MWC 2024,助力企业通过现代实现盈利

    在2024年世界移动通信大会(MWC 2024)上,超过65家英特尔的核心客户及合作伙伴展示了其基于全新软硬件和服务的系统与解决方案,用于实现未来基础设施的现代及货币
    的头像 发表于 02-27 15:55 362次阅读