0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

昆仑万维天工大模型3.0将于4月17日公测,参数量高达4000亿

微云疏影 来源:综合整理 作者:综合整理 2024-04-02 10:10 次阅读

4 月 2 日,昆仑万维集团明确表示,“天工”大模型历经一年升级锻造后,全新版本 3.0 将于下周一即 4 月 17 日发布公测,并将同步实现开源计划。新的“天工 3.0”采用 4000 亿级参数的 MoE(混合专家模型),这一数值为全球 MoE 模型中质量最高、性能最优者之一。据公司描述,该模型的性能显著超越了现有的Grok 1.0。

对比前代“天工 2.0”MoE 大模型,“天工 3.0”展现出在模型语义理解、逻辑推理方面的“惊人”实力提升,以及在通用性、泛化性、不确定性知识和学习能力等多个领域的进步。其模型的技术知识能力提升达到了 20%以上,而数学/推理/代码/文创能力则提升超过 30%。

除了原有功能外,“天工 3.0”还具备搜索增强、研究模式、调用代码及绘制图表等特性,以及多次调用联网搜索的能力。此外,它还特别针对Agent功能进行了个性化训练。这个能力让模型能独立规划、调用外部工具与信息,甚至能执行产业分析、产品对比等多种复杂任务。

“天工 3.0”被誉为全球首个多模态“超级模型”,汇集了 AI 搜索、AI 写作、AI 长文本阅读、AI 对话、AI 语音合成、AI 图片生成、AI 漫画创作、AI 图片识别、AI 音乐生成、AI 代码写作、AI 表格生成等众多强大能力。公司对此诠释道,这无疑是“大模型时代的超级应用”。

值得一提的是,早在去年 10 月,昆仑万维就已开放了百亿级大语言模型“天工”Skywork-13B 的开源项目,同时还引入了大约 600GB 和 150B Tokens 的开源中文数据集作为配套支持。该项目如今已经涵盖了两部分主要内容,分别是 Skywork-13B-Base 模型和 Skywork-13B-Math 模型,它们各自都具有高达 130 亿的参数规模。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    27482

    浏览量

    265150
  • 语言模型
    +关注

    关注

    0

    文章

    466

    浏览量

    10170
  • 大模型
    +关注

    关注

    2

    文章

    1874

    浏览量

    1498
收藏 人收藏

    评论

    相关推荐

    中国电信与昆仑万维等联合发布星辰MaaS平台

    在近日于福州举办的第七届数字中国建设峰会智算云生态大会高峰论坛上,中国电信携手昆仑万维等合作伙伴,共同推出了星辰MaaS平台(Model as a Service,模型即服务)。该平台为行业客户提供
    的头像 发表于 06-07 09:18 484次阅读

    昆仑万维开源2千亿稀疏大模型Skywork-MoE

    近日,昆仑万维公司宣布开源一款名为Skywork-MoE的稀疏大模型,该模型拥有高达2千亿参数
    的头像 发表于 06-04 14:44 358次阅读

    四大企业联手共建昆仑模型

    中石油、移动、华为以及科大讯飞共同签署协议,合力构建昆仑模型,以推进人工智能在能源化工领域的广泛应用与深化研究。
    的头像 发表于 05-30 14:20 347次阅读

    昆仑万维天工AI日活用户超过100万

    昆仑万维集团近日宣布,旗下天工AI的每日活跃用户(DAU)已突破百万大关,标志着其在人工智能领域的强大影响力和用户基础。天工AI智能体平台汇聚了近百万个用户生成内容(UGC)智能体,为
    的头像 发表于 05-28 09:16 330次阅读

    昆仑万维天工3.0模型性能显著提升,天工SkyMusic音乐模型亮相

    天工3.0拥有4000亿参数,超越Grok-1的3140亿参数,成为全球最大的开源MoE大模型
    的头像 发表于 04-17 16:05 331次阅读

    昆仑万维集团音乐模型"天工 SkyMusic"免费邀测 

    据了解,“天工 SkyMusic”作为目前国内唯一公开展示的AI音乐创作模型,采用先进的Sora模型架构进行谱曲及演唱部分的学习,经过大量训练,且具有出色的自然语言处理能力。
    的头像 发表于 04-02 17:04 644次阅读

    昆仑万维旗下Opera将推出全球首款非WebKit内核的iOS浏览器

    近日,昆仑万维旗下的国际知名浏览器品牌Opera宣布,将针对欧洲的iPhone和iPad用户推出一款全新的AI浏览器——Opera One。这款浏览器最大的亮点在于,它基于Opera自研的引擎,而非通常的WebKit内核,这在全球iOS浏览器市场上尚属首例。
    的头像 发表于 02-06 16:40 4056次阅读

    昆仑万维发布新版MoE大语言模型天工2.0

    昆仑万维科技今日震撼发布全新升级的「天工2.0」MoE大语言模型以及配套的新版「天工AI智能助手」APP。此次更新标志着国内首个搭载MoE架
    的头像 发表于 02-06 16:19 969次阅读

    介绍一款基于昆仑芯AI加速卡的高效模型推理部署框架

    昆仑芯科技公众号全新栏目“用芯指南”重磅推出!面向AI行业技术从业者,系列好文将提供手把手的昆仑芯产品使用指南。第一期围绕昆仑芯自研效能工具——昆仑芯Anyinfer展开,这是一款基于
    的头像 发表于 10-17 11:16 1189次阅读
    介绍一款基于<b class='flag-5'>昆仑</b>芯AI加速卡的高效<b class='flag-5'>模型</b>推理部署框架

    昆仑万维将投资6.8亿控股AI芯片公司艾捷科芯

    增资后,艾捷科芯将被纳入昆仑半导体的合并范围。支配aetco芯片后,昆仑万维将与创始人蒋毅敏联合中国科学院微电子研究所,在ai电算力及相关芯片研究开发领域探索突破,制造更加先进的人工智能芯片。
    的头像 发表于 09-21 09:38 1038次阅读

    昆仑芯科技携手生态伙伴领跑大模型产业落地

    近日,2023百度云智大会于北京圆满落幕。众多人工智能领域专家、行业精英、意见领袖等齐聚一堂,共同站在大模型重构未来的新起点,展望大模型创新发展之路。 作为百度四层架构的坚实算力底座,昆仑芯携两代
    的头像 发表于 09-08 10:32 1051次阅读

    飞腾派将于824正式发布啦!!!围观围观!

    本帖最后由 kevin2011 于 2023-8-21 14:01 编辑 飞腾派将于824正式发布啦!!!围观围观! 飞腾派将于8
    发表于 08-20 17:32

    盘古大模型参数量有多少

    盘古大模型参数量有多少 盘古大模型(PanGu-α)是由中国科学院计算技术研究所提供的一种语言生成预训练模型。该模型基于Transforme
    的头像 发表于 08-17 11:28 2359次阅读

    AI时代,程序员真的要被淘汰了吗?如何才能提高竞争力?

    随着 ChatGPT 的横空出世,给全球带来了巨大冲击,各种大语言模型如雨后春笋不断出现。国外如谷歌 Bard、Anthropic 的 Claude,国内如百度文心一言、阿里通义千问、讯飞星火认知大模型昆仑
    的头像 发表于 08-01 15:17 949次阅读

    如何计算transformer模型参数量

    参数规模大,训练数据规模大。以GPT3为例,GPT3的参数量为1750亿,训练数据量达到了570GB。进而,训练大规模语言模型面临两个主要挑战:显存效率和计算效率。 现在业界的大语言模型
    的头像 发表于 07-10 09:13 9552次阅读
    如何计算transformer<b class='flag-5'>模型</b>的<b class='flag-5'>参数量</b>