AMD发布首款小语言AI模型Llama-135m
近日，AMD在Huggingface平台上正式推出了自家首款“小语言模型”——AMD-Llama-135m。这款模型以其独特的推测解码功能，吸引了业界的广泛关注。
AMD-Llama-135m模型拥有6700亿个token，并采用了Apache 2.0开源许可，为用户提供了更多的灵活性和自由度。据AMD介绍，该模型主打“推测解码”能力，这一功能的基本原理是通过使用一个小型草稿模型来生成一组候选token，然后由更大的目标模型对这些候选token进行验证。这种方法不仅能够确保生成的token的准确性和可靠性，而且允许每次前向传递生成多个token，从而显著提高了效率。
与传统的AI模型相比，AMD-Llama-135m在RAM占用方面也有了显著的优化。由于采用了推测解码技术，该模型能够在不影响性能的前提下，减少RAM的占用，实现了更加高效的计算和存储资源利用。
AMD-Llama-135m的发布，标志着AMD在AI领域迈出了重要的一步。未来，AMD将继续致力于AI技术的研发和创新，为全球用户提供更加智能、高效和可靠的解决方案。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
amd
+关注
关注
25文章
5441浏览量
133927 -
AI
+关注
关注
87文章
30104浏览量
268387 -
模型
+关注
关注
1文章
3171浏览量
48711
发布评论请先 登录
相关推荐
使用NVIDIA TensorRT提升Llama 3.2性能
Llama 3.2 模型集扩展了 Meta Llama 开源模型集的模型阵容，包含视觉语言
Llama 3 与开源AI模型的关系
在人工智能（AI）的快速发展中，开源AI模型扮演着越来越重要的角色。它们不仅推动了技术的创新，还促进了全球开发者社区的合作。Llama 3，作为一个新兴的
Llama 3 模型与其他AI工具对比
Llama 3模型与其他AI工具的对比可以从多个维度进行，包括但不限于技术架构、性能表现、应用场景、定制化能力、开源与成本等方面。以下是对Llama 3
Llama 3 语言模型应用
在人工智能领域，语言模型的发展一直是研究的热点。随着技术的不断进步，我们见证了从简单的关键词匹配到复杂的上下文理解的转变。 一、Llama 3 语言
亚马逊云科技上线Meta Llama 3.2模型
亚马逊云科技近日宣布，Meta公司的新一代模型Llama 3.2已在其平台上正式上线。该模型包括Meta首款多模态
亚马逊云科技正式上线Meta Llama 3.2模型
亚马逊云科技宣布，Meta的新一代模型Llama 3.2，包括其首款多模态模型，现已在Amazon Bedrock和Amazon SageM
英伟达发布AI模型 Llama-3.1-Nemotron-51B AI模型
英伟达公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，这个AI大模型是源自 Meta 公司的
Meta发布全新开源大模型Llama 3.1
科技巨头Meta近期震撼发布了其最新的开源人工智能（AI）模型——Llama 3.1，这一举措标志着Meta在AI领域的又一重大突破。Met
NVIDIA AI Foundry 为全球企业打造自定义 Llama 3.1 生成式 AI 模型
借助 NVIDIA AI Foundry，企业和各国现在能够使用自有数据与 Llama 3.1 405B 和 NVIDIA Nemotron 模型配对，来构建“超级模型” NVIDIA
发表于 07-24 09:39
•681次阅读
中控流程工业首款AI时序大模型TPT发布
点燃AI引擎，打造工业应用新范式 杭州2024年6月7日 /美通社/ -- 6月5日，由中控技术倾力打造的流程工业首款AI时序大模型TPT
Meta Llama 3基础模型现已在亚马逊云科技正式可用
亚马逊云科技近日宣布，Meta公司最新发布的两款Llama 3基础模型——Llama 3 8B和Llam
英特尔AI产品助力其运行Meta新一代大语言模型Meta Llama 3
英特尔丰富的AI产品——面向数据中心的至强处理器，边缘处理器及AI PC等产品为开发者提供最新的优化，助力其运行Meta新一代大语言模型Meta L
LLaMA 2是什么？LLaMA 2背后的研究工作
Meta 发布的 LLaMA 2，是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着
【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B
和语法规则，将这些词汇串联起来，形成一个完整的回答
关于LLaMA及LLaMA.cpp
LLaMA全称是Large Language Model Meta AI，是由Meta
发表于 12-22 10:18
大语言模型简介：基于大语言模型模型全家桶Amazon Bedrock
本文基于亚马逊云科技推出的大语言模型与生成式AI的全家桶：Bedrock对大语言模型进行介绍。大语言
工商网监
评论