0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

部署基于 LLM 的私有知识库系统 AnythingLLM

jf_94205927 来源:jf_94205927 作者:jf_94205927 2024-12-27 13:44 次阅读

一、Flexus 云服务器 X 实例介绍

云服务器,如同虚拟的超级计算机,是云计算技术的核心组成部分。它通过网络提供计算资源,包括处理器、内存、存储和操作系统等,用户可以根据需求灵活配置和扩展。云服务器具备高可用性、弹性伸缩和快速部署等特点,适用于各种规模的企业和开发者,无论是网站托管、数据分析还是应用开发,都能提供稳定、高效的支持。

华为云下一代云服务器 Flexus X 实例焕新上线,新产品搭配弹性伸缩服务 AS 及负载均衡服务 ELB,可以实现基于业务负载的快速弹缩,从容应对多变的市场业务压力,覆盖高科技、零售、金融、游戏等行业大多数通用工作负载场景。

wKgZO2duPsaAU8AeAAKFUe3KKt0777.png

Flexus X 实例通过和其他服务组合,具备计算、镜像安装、网络、存储、安全等能力,您可根据业务需要灵活配置各资源。

wKgZO2duPsyAYkywAAvyr-51fqA462.gif

本次测评使用的规格是:4 核 12G-100G-3M 规格的 Flexus X 实例基础模式

wKgZO2duPs2AWVkiAAHXWmcDvoA232.png

二、Flexus 云服务器 X 实例配置

2.1 重置密码

购买服务器的时候可以提前设置用户名和密码,因为我这里跳过了,所以购买完成后需要重置密码,会短信或站内消息通过你的云服务器信息,重点是公网 IP 地址和用户名,首先打开你的服务器控制台,选择重置密码

wKgZPGduPs2AUB2iAAJxDfXk-p8031.png

勾选自动重启,点击确定即可

wKgZO2duPs2AbnJtAADmtG_r2Mc652.png

2.2 服务器连接

华为云服务器提供了多种链接方式,如使用控制台提供的 VNC 方式登录、使用 Linux/Mac OS 系统主机登录 Linux 弹性云服务器(即 ssh root@192.168.48.78 命令)或者使用 Putty、Xshell 等工具登录 Linux 弹性云服务器。

我个人习惯使用 MobaXterm这款软件,添加 SSH 连接,输出公网 IP、用户名和端口(默认 22),连接即可。

wKgZPGduPs6AOlcwAAB35aqd5VA036.png

2.3 安全组配置

安全组是一个逻辑上的分组,为同一个 VPC 内的云服务器提供访问策略。用户可以在安全组中定义各种访问规则,当云服务器加入该安全组后,即受到这些访问规则的保护。

系统为每个网卡默认创建一个默认安全组,默认安全组的规则是对出方向上的数据报文全部放行,入方向访问受限。您可以使用默认安全组,也可以根据需要创建自定义的安全组。

wKgZO2duPs6AX6b1AAJtUulR8LY910.png

主要需要填写优先级(默认填 1 即可)、协议端口(协议一般为 TCP 或 UDP,端口一般选择你项目需要暴露的端口即可),描述(选填,一般会填写此端口的用途以免忘记了),其他默认点击确定即可。安全组配置主要是暴露端口可以给外网访问。

wKgZPGduPs6ANv_BAAHf3yU1SGg476.png

如果还不清楚可以参考文档:安全组配置示例

总结

AnythingLLM 是一款多功能人工智能应用,旨在为用户提供一个统一的平台来处理多种类型的文档和模型。无论是在 Windows、MacOS,还是 Linux 系统上,用户都可以通过简单的“一键安装”来获取完整的工具套件。它支持包括 PDF、Word 文档等多种格式的文件处理,并允许用户连接各种自定义或开源的语言模型,如 GPT-4、Llama、Mistral 等,因此用户不再受到单一模型的约束。此外,AnythingLLM 能够完全在本地运行,只与用户明确连接的服务进行交互,这大大增强了数据的隐私保护。此次使用的 Flexus X 实例配置还是很高的 4 核 12G-100G-3M 规格的基础模式,尽管本地运行 ollama 模型,也能在推理过程中抗住压力,稳定输出,尽管输出缓慢,CPU 和内存占用也没有超过 60%,整体体验很好。

喜欢用 Docker 部署有趣项目?华为云服务器助你轻松实现!高性能、高可靠,支持一键部署 Docker 环境,快速启动你的创意项目。现在华为云服务器正进行 828 B2B 企业节,限时优惠,立即抢购,让你的项目飞速上线!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云服务器
    +关注

    关注

    0

    文章

    639

    浏览量

    13372
  • 华为云
    +关注

    关注

    3

    文章

    2566

    浏览量

    17465
  • LLM
    LLM
    +关注

    关注

    0

    文章

    290

    浏览量

    351
收藏 人收藏

    评论

    相关推荐

    腾讯ima升级知识库功能,上线小程序实现共享与便捷问答

    近日,腾讯旗下的AI智能工作台ima.copilot(简称ima)迎来了知识库功能的重大升级。此次升级不仅增加了“共享知识库”的新能力,还正式上线了“ima知识库”小程序,为用户带来了更加便捷和高效
    的头像 发表于 12-31 15:32 264次阅读

    部署多功能集成的协作知识库 AFFiNE

    一、Flexus 云服务器 X 实例介绍 云服务器是一种高效便捷的计算资源服务。它可随时根据需求进行弹性扩展,具有高可靠性和稳定性。无需担心硬件维护,轻松应对高并发访问。无论是企业建站、开发应用还是数据存储,云服务器都能提供强大支持,助力你的业务在云端飞速发展。 华为云下一代云服务器 Flexus X 实例焕新上线,新产品提供与华为云旗舰级云服务器产品相同的单 AZ 99.975%可用性,跨 AZ 99.995%可用性,阶梯式定价、动态画像并搭配 AS,实现资
    的头像 发表于 12-30 15:19 138次阅读
    <b class='flag-5'>部署</b>多功能集成的协作<b class='flag-5'>知识库</b> AFFiNE

    恩智浦如何在边缘设备上部署LLM

    开放式聊天机器人到任务型助手。虽然LLM主要聚焦基于云和服务器端的应用,但人们对在嵌入式系统和边缘设备中部署这些模型的兴趣也在不断增加。
    的头像 发表于 11-29 09:39 399次阅读

    什么是LLMLLM在自然语言处理中的应用

    所未有的精度和效率处理和生成自然语言。 LLM的基本原理 LLM基于深度学习技术,尤其是变换器(Transformer)架构。变换器模型因其自注意力(Self-Attention)机制而闻名,这种机制使得模型能够捕捉文本中的长距离依赖关系。
    的头像 发表于 11-19 15:32 637次阅读

    从零开始训练一个大语言模型需要投资多少钱?

    关于训练技巧和模型评估的文章,但很少有直接告诉你如何估算训练时间和成本的。前面分享了一些关于大模型/本地知识库的安装部署方法,无需编写代码,即可使用 Ollama+AnythingLLM搭建企业
    的头像 发表于 11-08 14:15 232次阅读
    从零开始训练一个大语言模型需要投资多少钱?

    k8s可以部署私有云吗?私有部署全攻略

    Kubernetes(简称K8S)可以部署私有云。Kubernetes是一个开源的容器编排引擎,能够自动化容器的部署、扩展和管理,使得应用可以在各种环境中高效运行。通过使用Kubernetes,企业可以在自己的数据中心或
    的头像 发表于 10-25 09:32 178次阅读

    搭建一个 AI 问答机器人,需要几步?

    部署的方式。 很多人想到模型私有部署,会以为要数据中心的多台服务器来做,其实不然。 办公室里搭建 AI 工作站,已经可以完美地支持企业内部知识库和一些POC场景的需求,比如进行量化
    的头像 发表于 10-21 15:10 354次阅读
    搭建一个 AI 问答机器人,需要几步?

    【实操文档】在智能硬件的大模型语音交互流程中接入RAG知识库

    非常明显的短板。尽管这些模型在理解和生成自然语言方面有极高的性能,但它们在处理专业领域的问答时,却往往不能给出明确或者准确的回答。 这时就需要接一个专有知识库来满足产品专有和专业知识的回复需求,理论
    发表于 09-29 17:12

    智能水电表管理系统支持本地私有部署吗?

    智能水电表管理系统,作为智慧城市建设中的关键组件,正逐步改变着能源计量与管理的传统模式。面对日益增长的数据安全需求及特定行业的合规性考量,越来越多的企业和机构开始关注系统的本地私有部署
    的头像 发表于 08-12 20:32 284次阅读
    智能水电表管理<b class='flag-5'>系统</b>支持本地<b class='flag-5'>私有</b>化<b class='flag-5'>部署</b>吗?

    llm模型本地部署有用吗

    ,将这些模型部署到本地环境可能会带来一些挑战和优势。 1. LLM模型概述 大型语言模型(LLM)通常是基于深度学习的神经网络模型,它们能够处理和理解大量的自然语言数据。这些模型通常
    的头像 发表于 07-09 10:14 517次阅读

    【算能RADXA微服务器试用体验】+ GPT语音与视觉交互:1,LLM部署

    系统。登录用户我选择的是默认的linaro,使用这个用户登陆后会有一些坑,我们先一一解决一下,才能后续正常使用。 首先是对于网卡的配置。默认所有的网络都走了wan口的网卡,因此需要先调整为lan口才行
    发表于 06-25 15:02

    如何手撸一个自有知识库的RAG系统

    用于自然语言处理任务,如文本生成、问答系统等。 我们通过一下几个步骤来完成一个基于京东云官网文档的RAG系统 数据收集 建立知识库 向量检索 提示词与模型 数据收集 数据的收集再整个RAG实施过程中无疑是最耗人工的,涉及到收集、
    的头像 发表于 06-17 14:59 598次阅读

    英特尔集成显卡+ChatGLM3大语言模型的企业本地AI知识库部署

    在当今的企业环境中,信息的快速获取和处理对于企业的成功至关重要。为了满足这一需求,我们可以将RAG技术与企业本地知识库相结合,以提供实时的、自动生成的信息处理和决策支持。
    的头像 发表于 03-29 11:07 813次阅读
    英特尔集成显卡+ChatGLM3大语言模型的企业本地AI<b class='flag-5'>知识库</b><b class='flag-5'>部署</b>

    利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统(下)

    对于语言模型(LLM)幻觉,知识图谱被证明优于向量数据知识图谱提供更准确、多样化、有趣、逻辑和一致的信息,减少了LLM中出现幻觉的可能性
    的头像 发表于 02-22 14:13 1226次阅读
    利用<b class='flag-5'>知识</b>图谱与Llama-Index技术构建大模型驱动的RAG<b class='flag-5'>系统</b>(下)

    请问可以私有部署

    有没有插件或者私有部署的服务
    发表于 02-01 16:00