AMD发布首款小语言AI模型Llama-135m
近日，AMD在Huggingface平台上正式推出了自家首款“小语言模型”——AMD-Llama-135m。这款模型以其独特的推测解码功能，吸引了业界的广泛关注。
AMD-Llama-135m模型拥有6700亿个token，并采用了Apache 2.0开源许可，为用户提供了更多的灵活性和自由度。据AMD介绍，该模型主打“推测解码”能力，这一功能的基本原理是通过使用一个小型草稿模型来生成一组候选token，然后由更大的目标模型对这些候选token进行验证。这种方法不仅能够确保生成的token的准确性和可靠性，而且允许每次前向传递生成多个token，从而显著提高了效率。
与传统的AI模型相比，AMD-Llama-135m在RAM占用方面也有了显著的优化。由于采用了推测解码技术，该模型能够在不影响性能的前提下，减少RAM的占用，实现了更加高效的计算和存储资源利用。
AMD-Llama-135m的发布，标志着AMD在AI领域迈出了重要的一步。未来，AMD将继续致力于AI技术的研发和创新，为全球用户提供更加智能、高效和可靠的解决方案。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
amd
+关注
关注
25文章
5377浏览量
133491 -
AI
+关注
关注
87文章
29055浏览量
266730 -
模型
+关注
关注
1文章
3040浏览量
48419
发布评论请先 登录
相关推荐
英伟达发布AI模型 Llama-3.1-Nemotron-51B AI模型
英伟达公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，这个AI大模型是源自 Meta 公司的
Meta发布全新开源大模型Llama 3.1
科技巨头Meta近期震撼发布了其最新的开源人工智能（AI）模型——Llama 3.1，这一举措标志着Meta在AI领域的又一重大突破。Met
NVIDIA AI Foundry 为全球企业打造自定义 Llama 3.1 生成式 AI 模型
借助 NVIDIA AI Foundry，企业和各国现在能够使用自有数据与 Llama 3.1 405B 和 NVIDIA Nemotron 模型配对，来构建“超级模型” NVIDIA
发表于 07-24 09:39
•639次阅读
Meta即将发布超强开源AI模型Llama 3-405B
在人工智能领域的激烈竞争中，Meta公司再次掷出重磅炸弹，宣布将于7月23日正式发布其最新力作——Llama 3-405B，一个拥有惊人4050亿参数的开源大模型。这一举措不仅标志着Meta在
中控流程工业首款AI时序大模型TPT发布
点燃AI引擎，打造工业应用新范式 杭州2024年6月7日 /美通社/ -- 6月5日，由中控技术倾力打造的流程工业首款AI时序大模型TPT
百川智能发布Baichuan 4大模型及首款AI助手“百小应”
百川智能近日发布了其新一代基座大模型Baichuan 4，并同步推出了首款AI助手“百小应”。这款AI
Meta Llama 3基础模型现已在亚马逊云科技正式可用
亚马逊云科技近日宣布，Meta公司最新发布的两款Llama 3基础模型——Llama 3 8B和Llam
英特尔AI产品助力其运行Meta新一代大语言模型Meta Llama 3
英特尔丰富的AI产品——面向数据中心的至强处理器，边缘处理器及AI PC等产品为开发者提供最新的优化，助力其运行Meta新一代大语言模型Meta L
Meta推出最强开源模型Llama 3 要挑战GPT
公司这次开源了Llama 3 8B与70B两款不同规模的模型，开发者可以免费使用，而Meta公司还将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新
AI初创企业Suno发布首款音乐AI生成模型SunoV3
美国人工智能初创企业Suno近日震撼发布其首款音乐AI生成模型——SunoV3。这款创新产品已正式登陆其官方网站，并向所有用户免费开放使用，
AMD发布通知：用户可本地运行GPT大语言模型，构建个人AI聊天助手
AMD详述运行步骤，如在搭载70亿参数的Mistral机器上，需寻找并下载“TheBloke / OpenHermes-2.5-Mistral-7B-GGUF”；若选择运行70亿参数的LLAMA v2，须检索并下载“TheBloke /
LLaMA 2是什么？LLaMA 2背后的研究工作
Meta 发布的 LLaMA 2，是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着
Meta发布开源大模型Code Llama 70B
近日，Meta宣布推出了一款新的开源大模型Code Llama 70B，这是其“Code Llama家族中体量最大、性能最好的模型版本”。这
【飞腾派4G版免费试用】仙女姐姐的嵌入式实验室之五~LLaMA.cpp及3B“小模型”OpenBuddy-StableLM-3B
和语法规则，将这些词汇串联起来，形成一个完整的回答
关于LLaMA及LLaMA.cpp
LLaMA全称是Large Language Model Meta AI，是由Meta
发表于 12-22 10:18
大语言模型简介：基于大语言模型模型全家桶Amazon Bedrock
本文基于亚马逊云科技推出的大语言模型与生成式AI的全家桶：Bedrock对大语言模型进行介绍。大语言
工商网监
评论