AMD发布通知：用户可本地运行GPT大语言模型，构建个人AI聊天助手

据报道，3 月 7 日，AMD 正式宣布用户可本地运行基于 GPT 的大规模语言模型 （LLM），打造专属的AI聊天机器人。该动作，适用于采用全新 AMD XDNA NPU的Ryzen 7000及Ryzen 8000系列APU及内嵌AI加速器的Radeon RX 7000系列GPU。

AMD详述运行步骤，如在搭载70亿参数的Mistral机器上，需寻找并下载“TheBloke / OpenHermes-2.5-Mistral-7B-GGUF”；若选择运行70亿参数的LLAMA v2，须检索并下载“TheBloke / Llama-2-7B-Chat-GGUF”。

值得注意的是，AMD并非首家推行此类举措的厂商。据了解，近期英伟达（NVIDIA）亦推出了“Chat with RTX”人工智能聊天机器人，利用GeForce RTX 40与RTX 30系列GPU提供TensorRT-LLM功能集服务，根据本地化数据集快速生成AI结果。