0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

OpenAI开启推理算力新Scaling Law,AI PC和CPU的机会来了

爱云资讯 2024-09-27 16:20 次阅读

OpenAI的新模型o1,可谓是开启了Scaling Law的新篇章——

随着更多的强化学习(训练时计算)和更多的思考时间(测试时计算),o1在逻辑推理能力上已经达到了目前天花板级别。

尤其是在北大给出的一项评测中,**o1-mini**模型的跑分比o1-preview还要高:

wKgZomb2ar-AHVUKAAFwv-IFH54843.png

这就展示一种新的思路和可能性——

**小模型专门加强推理能力,放弃在参数中存储大量世界知识。**

OpenAI科学家赵盛佳给出的解释是:

>o1-mini是高度专业化的模型,只关注少部分能力可以更深入。

wKgaomb2ar-AceyIAADWKpJKZ4g63.jpeg

但与此同时,也出现了另一个问题:

若是想让AI同时掌握高阶推理能力和大量知识的任务应该怎么办?

于是乎,技术的聚光灯再次对焦到了**大模型和RAG的组合**。

具体而言,向量数据库让大模型能够快速有效地检索和处理大量的向量数据,为大模型提供了更丰富和准确的信息,从而增强了模型的整体性能和应用范围。

可以说是让大模型有了“好记忆”,减少出现答非所问的情况。

而且这一次,小模型专业化的新趋势还对RAG中的向量数据库提出了更高的要求:

一方面是小模型存储的知识少了,对于外部知识存储和检索的质量要求就更高。

另一方面是AI应用落地的脚步加快,面对多用户、高并发的场景,对整个系统的性能也更高。

在此背景下,业界先进企业正将目光投向更强大的**分布式向量数据库**。

向量数据库代表玩家**星环科技**就和**英特尔**强强联手,对此提出了一种新解法:

用更强性能的数据中心CPU与酷睿™ Ultra支持的AI PC组合,加上专门优化过的分布式向量数据库,提供更经济、更通用的方案,有效解决企业部署大模型的瓶颈问题。

分布式向量数据库推动大模型应用落地

正如我们刚才提到的,RAG的重要组成部分就是外挂的专业知识库,因此这个知识库中需得涵盖能够精准回答问题所需要的专业知识和规则。

而要构建这个外挂知识库,常见的方法包括向量数据库、知识图谱,甚至也可以直接把ElasticSearch数据接入。

但由于向量数据库具备对高维向量的检索能力,能够跟大模型很好地匹配,效果也较好,所以成为了目前主流的形式。

向量数据库可以对向量化后的数据进行高效的存储、处理与管理。

如下图展示的那样,数据向量化过程利用了诸如词向量模型和卷积神经网络人工智能技术。

wKgZomb2ar-AEPZ8AAIRQVLXz68752.png

通过Embedding过程,这些技术能够将文本、图像、音视频等多种形式的数据转换成向量形式,并将其存储在向量数据库中。

至于向量数据库的查询功能,则是通过计算向量间的相似度来实现的。

星环科技所提出的创新成果,便是**无涯·问知Infinity Intelligence**。

这是一款基于星环大模型底座,结合个人知识库、企业知识库、法律法规、财经等多种知识源的企业级垂直领域问答产品,可以实现企业级智能问答。

例如面对“国家大基金三期会投向哪些领域”这样非常专业的问题,无涯·问知不仅可以轻松作答,还能提供相关图谱、关键信息等

而且还能图文并茂地展示作答:

wKgZomb2ar-AX9cUAAFhxpqqfyM132.png

上传本地的视频文件等,无涯·问知“唰唰唰”地就可以做总结:

wKgZomb2asCAJDU-AA9kgavX6zU364.gif

整体来看,无涯·问知在**个人知识库**上,支持用户一键上传文档、表格、图片、音视频等多模态数据,快速实现海量多模知识的检索与智能问答。

在**企业知识库**方面,则是通过管理端构建企业知识库后,员工可以基于企业知识库进行问答,知识库作为企业内部的知识共享平台,促进不同团队和部门之间的协作和信息交流。

除此之外,无涯·问知内置了各大交易所的交易规则、监管要求等常见的**法律法规知识**,用户可针对法律法规的具体条款、监管规则、试行办法等提出问题,无涯·问知将提供法律风险预警以及应对建议。

它还内置了丰富的上市公司财报和产业链图谱数据,能够为金融机构提供全面深入的**投资研究分析工具**。

即便是面对金融、法律等众多既要求时效性、又要求数据隐私的行业,星环也有无需上云联网的无涯问知AI PC版,它可以在配备英特尔® 酷睿™ Ultra的主流个人电脑上,基于集成显卡和NPU流畅运行。

它不仅具备强大的本地化向量库,支持多格式、不限长度的文件资料入库,还支持影、音、图、文等多模态数据的“知识化”处理,以及“语义化”查询和应用能力,极大地丰富了知识获取和应用场景。

wKgaomb2asCABa6DAACSwl4s5tg786.png

无涯·问知可以算是星环知识平台Transwarp Knowledge Hub中重要的组成部分,其为用户打通了从人工智能基础设施建设到大数据、人工智能等研发应用的完整链条。

值得一提的是,TKH同样提供了AI PC版本,基于本地大模型技术,能够回答用户各类问题,为用户带来文档总结、知识问答等全新体验,同时保障用户隐私数据安全。

AI PC版本星环大模型知识库提供本地大模型和远程大模型供选择,简单问题可以由本地模型快速处理,而复杂疑难问题则可以提交给云端大模型进行深入分析。

这种弹性扩展的能力,确保了企业在面对不同挑战时,都能够获得足够的计算支持。

wKgaomb2ar-Afq8vAADo6DpCDQo617.png

而这一系列产品之所以能够做到在云端和本地都能提供高效的知识管理和智能化工具,离不开星环科技自研的几个关键技术。

首先就是基于星环自研**向量数据库Hippo的向量索引技术**,能够在庞大的数据集中快速精准地召回相关信息,提升了信息检索的速度和准确性,使模型在处理查询时更加高效。

wKgZomb2asCAAy2GAAB8kJAG6mk139.png

其次是利用了**图计算框架**,让大模型能够识别实体间的多层次关系,从而进行深度的关联分析,提供了更为深入和准确的洞察结论。

在**数据**方面,覆盖官方资讯、门户类网站、自媒体财经等1600多个信息源,涵盖了全市场的各类宏观、价格指数以及大部分新闻数据。

不仅包括通常渠道可获取的数据,还包含高可信度、拥有第一手资料的新闻合作商数据,同时也对所有官方政策数据进行实时全覆盖。

但随着大模型的发展,数据规模可谓是极速暴增,这就对数据库和智能问答的性能提出更高要求。

因此,数据压缩、算力提升也成为了各个大模型玩家发力的关键点。

在这方面,星环科技与英特尔深度合作,从端侧的AIPC到后端的数据中心和云,通过软硬协同优化为大模型的应用落地打造了可行的方案。

CPU助力向量数据库应用性能大幅提升

向量数据库搭配CPU,其实本来就已经是行业内现阶段的主流共识。

究其原因,向量相似度检索、高密度向量聚类等都属于CPU密集型负载。因此,CPU的性能至关重要。

第五代英特尔® 至强® 可扩展处理器,正是带来了一系列面向AI时代的关键特性更新。

首先,它搭载了更大容量的高带宽内存,有效缓解了向量数据库中数据密集型工作负载的内存墙问题。

此外,它还集成了英特尔® AMX(高级矩阵扩展)加速引擎,能高效地处理向量数据库查询所需的矩阵乘法运算,并在单次运算中处理更大矩阵。

对于云端部署的版本来说,搭载第五代至强® 处理器后,星环Transwarp Hippo的整体性能较第三代提升高达2.07倍。

那么本地AI算力,是否能支撑在AI PC上使用大模型来支持企业应用呢?

星环尝试后给出了答案:完全够用。

从AI PC诞生到现在近一年时间,整体AI算力提升了200%多,能耗又降低了50%。

这背后就要归功于英特尔® 酷睿™ Ultra系列CPU的升级改进了。

最新的英特尔® 酷睿™ Ultra 处理器 (第二代)200V系列处理器支持下,整个AI PC平台算力最高能达到120 TOPS。

特别是其中搭载的第四代NPU,性能比上一代强大4倍,非常适合在节能的同时运行持续的AI工作负载。

wKgZomb2asCAENZ1AAF6Gnt0y40529.png

在软件层面,英特尔和星环合作,还对数据库底层做了性能优化。

通过水平扩展架构、基于CPU的向量化指令优化、多元芯片加速等技术,有助于分布式向量数据库发挥并行检索能力,为海量、多维向量处理提供强大算力支持。

经过优化后的Transwarp Hippo实现了海量、高维度向量数据处理,并具备低时延、高精确度等优势。

同时提升了Transwarp Hippo了服务器节点的性能密度,在性能提升的同时,具备更高的每瓦性能,有助于节省单位性能的能耗支出,最终体现为降低总体拥有成本 (TCO)。

存算融合趋势明显,CPU大有可为

随着OpenAI o1系列为代表的大模型不断革新算法,大模型推理时的算力消耗正在飞速攀升,对支撑大模型运转的基础设施平台提出了更高的要求。

特别是对于需要频繁访问外部知识库的大模型应用,存储与计算深度融合俨然成为当务之急。

在这一技术变革大潮中,CPU成为其中关键角色之一。

此外,英特尔基于CPU的解决方案还为用户带来了更具成本优势的选择。由于通用CPU拥有成熟、完善的供应链体系和生态支持,企业用户可以获得稳定可靠的算力供给。

同时,英特尔® 至强® 和酷睿™ 处理器能同时覆盖端侧和云侧的算力需求,为不同的应用场景提供强大的支持。

展望未来,存算一体化的趋势将愈发明显。

从大模型应用的角度看,知识检索和AI推理将不再泾渭分明,而是深度交织、彼此强化。

在这样一个智能融合的未来图景中,CPU作为连接存储、网络和各类加速器的纽带,其地位将变得举足轻重。

(文章来源:量子位,作者:梦晨 金磊”)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10798

    浏览量

    210702
  • OpenAI
    +关注

    关注

    9

    文章

    1030

    浏览量

    6376
  • 大模型
    +关注

    关注

    2

    文章

    2258

    浏览量

    2331
收藏 人收藏

    评论

    相关推荐

    CPU\GPU引领,国产AI PC进阶

    电子发烧友网报道(文/黄晶晶)当前AI PC已经成为PC产业的下一个浪潮,国产CPU、GPU厂商在PC市场一直处于追赶态势,
    的头像 发表于 09-01 02:15 4911次阅读
    <b class='flag-5'>CPU</b>\GPU引领,国产<b class='flag-5'>AI</b> <b class='flag-5'>PC</b>进阶

    李开复:中国擅长打造经济实惠的AI推理引擎

    10月22日上午,零一万物公司的创始人兼首席执行官李开复在与外媒的交流中透露,其公司旗下的Yi-Lightning(闪电模型)在推理成本上已实现了显著优势,比OpenAI的GPT-4o模型低了31倍。他强调,中国擅长打造经济实惠的AI
    的头像 发表于 10-22 16:54 278次阅读

    OpenAI即将发布“草莓”推理大模型

    科技界迎来新动态,据可靠消息透露,OpenAI正紧锣密鼓地筹备着一项重大发布——预计在两周内,将正式推出名为“草莓”的新型AI推理模型,并将其无缝融入ChatGPT服务中。这款以卓越推理
    的头像 发表于 09-11 16:53 462次阅读

    浪潮信息赵帅:开放计算创新 应对Scaling Law挑战

    Scaling Law带来的AI基础设施Scale up和Scale out的挑战,数据中心需要以开放创新加速算力系统、管理和基础设施的全向Scale进程,推动AI产业的创新发展。  
    的头像 发表于 08-15 16:02 222次阅读
    浪潮信息赵帅:开放计算创新 应对<b class='flag-5'>Scaling</b> <b class='flag-5'>Law</b>挑战

    OpenAI 深夜抛出王炸 “ChatGPT- 4o”, “她” 来了

    当地时间5月13日OpenAI推出ChatGPT-4o,代表了人工智能向前迈出的一大步。在GPT-4turbo的强大基础上,这种迭代拥有显著的改进。在发布会的演示中,OpenAI展示该模型的高级
    发表于 05-27 15:43

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链
    的头像 发表于 05-27 11:50 471次阅读
    英特尔助力京东云用<b class='flag-5'>CPU</b>加速<b class='flag-5'>AI</b><b class='flag-5'>推理</b>,以大模型构建数智化供应链

    奕斯伟展示全球首款RISC-V边缘计算芯片EIC7700X与高算AI PC芯片

    随着AI大模型和AI PC的兴起,具备多模态能力的AI大模型不断涌现,AI推理芯片成为市场焦点。
    的头像 发表于 05-18 16:31 1072次阅读

    OpenAIAI搜索也要来了,但我们需要这么多AI搜索么

    OpenAI要做AI搜索挑战谷歌这件事已经传了很久,传说中的SearchGPT似乎真的要来了。据软件开发者TiborBlaho爆料,OpenAIA
    的头像 发表于 05-10 08:05 348次阅读
    <b class='flag-5'>OpenAI</b>的<b class='flag-5'>AI</b>搜索也要<b class='flag-5'>来了</b>,但我们需要这么多<b class='flag-5'>AI</b>搜索么

    新火种AI|这家“中国OpenAI”,能赶超OpenAI吗?

    全面对标OpenAI,智谱AI能成为“中国的OpenAI”吗?
    的头像 发表于 01-18 17:56 593次阅读
    新火种<b class='flag-5'>AI</b>|这家“中国<b class='flag-5'>OpenAI</b>”,能赶超<b class='flag-5'>OpenAI</b>吗?

    AI PC是什么?如何变革PC产业(2023)

    AI PC整合了轻量化AI模型,将实现各种生成式AI应用的离线稳态运行。作为设备、边缘计算和云技术的混合体,AI
    的头像 发表于 12-27 17:37 1420次阅读
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>是什么?如何变革<b class='flag-5'>PC</b>产业(2023)

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    ); OH_AI_ContextSetThreadAffinityMode(context, 1); //设置运行设备为CPU,不使用Float16推理 OH_AI_DeviceInf
    发表于 12-14 11:41

    AI PC 灵魂拷问

    。今年9月英特尔CEO帕特·基辛格在硅谷提出了PC的革命性概念——AI PC。 问题2:什么是AI PC? 答:
    的头像 发表于 12-08 19:15 492次阅读
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b> 灵魂拷问

    2024年将开启AI PC规模出货元年,全球PC迈入AI新时代!

    电子发烧友网报道(文/李弯弯)AI PC是一种集成了AI技术的个人电脑。它通过集成NPU、CPU、GPU等硬件,在实现高能、低耗的同时从根本上改变、重塑和重构
    的头像 发表于 12-02 01:14 2455次阅读

    AI PC:深入变革PC产业(2023)

    软件方面,AI PC整合了轻量化AI模型,将实现各种生成式AI应用的离线稳态运行。作为设备、边缘计算和云技术的混合体,AI
    的头像 发表于 11-22 17:48 1903次阅读
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>:深入变革<b class='flag-5'>PC</b>产业(2023)

    点亮未来:TensorRT-LLM 更新加速 AI 推理性能,支持在 RTX 驱动的 Windows PC 上运行新模型

    的 Windows PC 和工作站提高生产带来前所未有的机会。NVIDIA RTX 技术使开发者更轻松地创建 AI 应用,从而改变人们使用计算机的方式。 在微软 Ignite 20
    的头像 发表于 11-16 21:15 635次阅读
    点亮未来:TensorRT-LLM 更新加速 <b class='flag-5'>AI</b> <b class='flag-5'>推理</b>性能,支持在 RTX 驱动的 Windows <b class='flag-5'>PC</b> 上运行新模型