0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英特尔集成显卡+ChatGLM3大语言模型的企业本地AI知识库部署

英特尔物联网 来源:英特尔物联网 2024-03-29 11:07 次阅读

前言

在当今的企业环境中,信息的快速获取和处理对于企业的成功至关重要。为了满足这一需求,我们可以将RAG技术与企业本地知识库相结合,以提供实时的、自动生成的信息处理和决策支持。这将有助于企业更好地应对快速变化的市场环境,提高企业的竞争力和创新能力。

企业本地知识库是一个集中存储和管理企业内部知识的系统。它包含了企业的历史数据、经验教训、最佳实践、流程文档、产品信息等。企业本地知识库是企业智慧的结晶,对于企业的运营和发展具有重要意义。

将RAG技术与企业本地知识库相结合,可以为企业带来以下几个方面的优势:

1

实时性

RAG技术可以实时地从企业本地知识库中提取相关信息,并生成用户所需的内容。这意味着用户可以快速地获取到最新的知识和信息,而不需要花费大量时间去查找和整理。

2

自动化

RAG技术可以自动地处理和生成内容,减少了人工干预的需求。这不仅可以提高企业的效率,还可以减少人为错误的发生。

3

个性化和定制化

RAG技术可以根据用户的需求和偏好,生成个性化的内容。通过与企业本地知识库的结合,可以提供更加精准和有针对性的信息,满足不同用户的需求。

4

知识共享和传承

企业本地知识库是一个集中存储和共享知识的平台。通过与RAG技术的结合,可以将这些知识快速地传递给需要的用户,促进知识的共享和传承。

1

RAG简介

RAG - Retrieval-Augmented Generation(检索增强生成)是一种先进的自然语言处理(NLP)技术,它结合了信息检索(Retrieval)和神经网络生成(Generation)两种方法,以提升模型在生成文本时的准确性和相关性。在传统的生成模型中,模型依据自身学习到的知识库生成文本。然而,这种方法受限于模型训练时所接触到的数据范围,特别是在处理未见的、需要实时查找新信息的场景时,可能无法生成最新或最准确的内容。

RAG模型通过引入一个检索组件,在接收到输入问题或任务后,首先从大规模预定义的知识库(如网页、文档集合或其他结构化/非结构化数据源)中检索与任务相关的信息片段。然后,检索到的信息作为额外的上下文输入,与原始输入一起传递给生成模型。生成模型在此基础上,利用检索到的信息以及自身的语言模型能力,生成更为精确、详尽且与现实世界信息保持同步的回答或文本内容。

简单来说,RAG模型就是在传统生成模型的基础上增加了一个动态获取外部知识的能力,这样既保留了大模型生成连贯文本的优点,又解决了由于模型记忆限制导致的知识更新和准确性不足的问题,尤其适用于问答系统、对话系统及需要实时更新信息的自然语言处理任务。

504d318a-ece7-11ee-a297-92fbcf53809c.png

2

OpenVINO Notebook简介

OpenVINO Notebooks是一套以Jupyter Notebook为载体的开源交互式编程教程和示例代码合集,由英特尔公司开发和维护。这套资源专为使用 OpenVINO 工具套件的开发者设计,旨在帮助他们更快地理解和掌握如何利用 OpenVINO 进行深度学习模型的优化与推理及实际部署AI在各式业务应用场景里面。

50752faa-ece7-11ee-a297-92fbcf53809c.png

3

部署平台简介

算力魔方是一款可以DIY的迷你主机,采用了抽屉式设计,后续组装、升级、维护只需要拔插模块。通过选择计算模块的版本,再搭配不同额 IO 模块可以组成丰富的配置,适应不同场景。性能不够时,可以升级计算模块提升算力, 如需要显卡可加上显卡, IO 接口不匹配时,可以更换 IO 模块调整功能,而无需重构整个系统。本文在带有英特尔12代酷睿i7-1265U芯片组里的锐炬 Xe集成显卡+RAM 32GB的算力魔方上完成验证。

4

在集成显卡上部署RAG

4.1

搭建OpenVINO Notebooks开发环境

第一步:请使用下面的命令克隆存储库创建并激活名为“openvino_env”的虚拟环境

git clone https://github.com/openvinotoolkit/openvino_notebooks.git
cd openvino_notebooks
conda create -n openvino_env python=3.9

50b015a2-ece7-11ee-a297-92fbcf53809c.png

第二步:请使用下面的命令激活虚拟环境并安装依赖包,并启动Jupyter Notebooks

conda activate openvino_env
pip install -r requirements.txt

511c6d4c-ece7-11ee-a297-92fbcf53809c.png

jupyter lab notebooks

5143f5f6-ece7-11ee-a297-92fbcf53809c.png

4.2

下载模型到本地

请使用命令将ChatGLM3 6B和text2vec模型下载到本地

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

51638e98-ece7-11ee-a297-92fbcf53809c.png

git clone https://www.modelscope.cn/Jerry0/text2vec-large-chinese.git

5179773a-ece7-11ee-a297-92fbcf53809c.png

4.3

运行254-rag-chatbot程序

请运行Notebooks里面的代码模块, 注意!! 国内用户请勿运行模块1,从模块2开始一步步运行代码到NNCF模块,模型压缩选择int4并按照下图一及二图修改notebooks 254里的代码引导程序指定对应的模型路径完成ChatGLM3-6b模型int 4量化及部署

519b22c2-ece7-11ee-a297-92fbcf53809c.png

图一

51b0f96c-ece7-11ee-a297-92fbcf53809c.png

图二

text2vec-large-chinese 模型部署

51d88414-ece7-11ee-a297-92fbcf53809c.png

运行结果,如下所示:本地知识库已成功加入ChatGLM 6B模型里并精确回答问题

51f27da6-ece7-11ee-a297-92fbcf53809c.png

运行视频.avi

5

总结

将RAG技术与企业本地知识库相结合,可以为企业提供实时、自动化、个性化和定制化的信息处理和决策支持。这将有助于企业更好地应对快速变化的市场环境,提高企业的竞争力和创新能力。

利用OpenVINO 工具套件简单易用,仅需三步即可在算力魔方完成开发环境搭建及模型的INT4量化且在英特尔集成显卡上的部署实现RAG企业本地知识库部署。




审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    9906

    浏览量

    171567
  • 深度学习
    +关注

    关注

    73

    文章

    5493

    浏览量

    121014
  • 大模型
    +关注

    关注

    2

    文章

    2347

    浏览量

    2513
  • OpenVINO
    +关注

    关注

    0

    文章

    90

    浏览量

    182

原文标题:英特尔集成显卡+ChatGLM3大语言模型的企业本地AI知识库部署 | 开发者实战

文章出处:【微信号:英特尔物联网,微信公众号:英特尔物联网】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用PyTorch在英特尔独立显卡上训练模型

    《PyTorch 2.5重磅更新:性能优化+新特性》中的一个新特性就是:正式支持在英特尔独立显卡上训练模型
    的头像 发表于 11-01 14:21 250次阅读
    使用PyTorch在<b class='flag-5'>英特尔</b>独立<b class='flag-5'>显卡</b>上训练<b class='flag-5'>模型</b>

    英特尔聚焦AI座舱

    英特尔推出首款锐炫车载独立显卡(dGPU)和第一代英特尔软件定义车载SoC系列,满足当前消费者对汽车内部配备更多屏幕、获得更高清晰度等AI座舱体验需求。
    的头像 发表于 10-30 16:26 166次阅读

    【实操文档】在智能硬件的大模型语音交互流程中接入RAG知识库

    非常明显的短板。尽管这些模型在理解和生成自然语言方面有极高的性能,但它们在处理专业领域的问答时,却往往不能给出明确或者准确的回答。 这时就需要接一个专有知识库来满足产品专有和专业知识
    发表于 09-29 17:12

    IBM Cloud将部署英特尔Gaudi 3 AI芯片

    近日,科技巨头IBM与英特尔宣布了一项重大合作计划,双方将共同在IBM Cloud平台上部署英特尔最新的Gaudi 3 AI芯片,预计该服务
    的头像 发表于 09-03 15:52 360次阅读

    英特尔携手星环科技WAIC展现AI Infra

    PC版等。此外,星环主办的“新质生产力:AI Infra构筑企业新动能”主题论坛同时亮相上海世博中心,邀请了包括英特尔在内的多家业界大咖,展望AI基础设施建设趋势,探讨如何基于大
    的头像 发表于 08-16 15:02 474次阅读
    <b class='flag-5'>英特尔</b>携手星环科技WAIC展现<b class='flag-5'>AI</b> Infra

    【AIBOX】装在小盒子的AI足够强吗?

    Firefly推出大语言模型本地部署的产品:AIBOX-1684X,目前已适配主流的大语言模型
    的头像 发表于 05-15 08:02 411次阅读
    【AIBOX】装在小盒子的<b class='flag-5'>AI</b>足够强吗?

    华擎推出AI QuickSet软件,支持英特尔锐炫Arc A系列显卡

    今日,华擎宣布将AI QuickSet软件工具扩展至英特尔锐炫Arc A系列显卡,使其能够便捷地安装Stable Diffusion web UI OpenVINO,结合英特尔Open
    的头像 发表于 05-11 10:58 610次阅读

    英特尔AI产品助力其运行Meta新一代大语言模型Meta Llama 3

    英特尔丰富的AI产品——面向数据中心的至强处理器,边缘处理器及AI PC等产品为开发者提供最新的优化,助力其运行Meta新一代大语言模型Me
    的头像 发表于 04-28 11:16 588次阅读

    简单三步使用OpenVINO™搞定ChatGLM3本地部署

    英特尔 OpenVINO™ 工具套件是一款开源 AI 推理优化部署的工具套件,可帮助开发人员和企业加速生成式人工智能 (AIGC)、大语言
    的头像 发表于 04-03 18:18 2011次阅读
    简单三步使用OpenVINO™搞定<b class='flag-5'>ChatGLM3</b>的<b class='flag-5'>本地</b><b class='flag-5'>部署</b>

    浪潮信息&quot;源2.0&quot;大模型YuanChat支持英特尔最新商用AI PC

    % 。企业可以在全新的英特尔商用客户端AI PC上,使用AI PC大模型效率工具"YuanChat"快速
    的头像 发表于 03-27 22:52 470次阅读
    浪潮信息&quot;源2.0&quot;大<b class='flag-5'>模型</b>YuanChat支持<b class='flag-5'>英特尔</b>最新商用<b class='flag-5'>AI</b> PC

    英特尔CPU部署Qwen 1.8B模型的过程

    本文介绍了在英特尔 13 代酷睿 CPU i5 - 13490F 设备上部署 Qwen 1.8B 模型的过程,你需要至少 16GB 内存的机器来完成这项任务,我们将使用英特尔的大
    的头像 发表于 01-12 10:28 2526次阅读

    三步完成在英特尔独立显卡上量化和部署ChatGLM3-6B模型

    ChatGLM3 是智谱 AI 和清华大学 KEG 实验室联合发布的新一代对话预训练模型ChatGLM3-6B 是 ChatGLM3 系列
    的头像 发表于 01-11 18:04 1563次阅读
    三步完成在<b class='flag-5'>英特尔</b>独立<b class='flag-5'>显卡</b>上量化和<b class='flag-5'>部署</b><b class='flag-5'>ChatGLM3</b>-6B<b class='flag-5'>模型</b>

    ChatGLM3-6B在CPU上的INT4量化和部署

    ChatGLM3 是智谱 AI 和清华大学 KEG 实验室联合发布的新一代对话预训练模型ChatGLM3-6B 是 ChatGLM3 系列
    的头像 发表于 01-05 09:36 885次阅读
    <b class='flag-5'>ChatGLM3</b>-6B在CPU上的INT4量化和<b class='flag-5'>部署</b>

    英特尔模型全适配,大语言模型已成功部署于CPU

    他进一步指出,英特尔作为芯片制造商,始终致力于对“合适尺寸”模型的全面适配。面对大模型领域激烈的市场竞争,每个季度大约有4-5款新模型上市,一旦发现任何新的
    的头像 发表于 12-11 15:41 1096次阅读

    集成显卡和独立显卡有什么区别?

    集成显卡和独立显卡有什么区别? 集成显卡和独立显卡是两种不同的图形处理单元,它们在计算机图形处理方面具有一些显著的区别。本文将详尽、详实、细致地介绍这两种
    的头像 发表于 12-11 15:31 1838次阅读