0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

160亿参数,新增多项能力,复旦MOSS开源了

3D视觉工坊 来源:机器之心 2023-04-27 15:51 次阅读

今年 2 月份,机器之心报道了复旦大学推出中国版 ChatGPT 的消息,引起了广泛关注。当时,邱锡鹏教授就曾表示将于四月份开源 Moss。

昨天,开源版的 Moss 真的来了。

项目地址:https://github.com/OpenLMLab/MOSS

MOSS 是一个支持中英双语和多种插件的开源对话语言模型,但参数数量比 ChatGPT 少得多。在 v0.0.2 之后,团队持续对其进行调整,推出了 MOSS v0.0.3,也就是目前开源的版本。相比于早期版本,功能也实现了多项更新。

最初的测试中,MOSS 的基础功能与 ChatGPT 类似,可以按照用户输入的指令完成各类自然语言处理任务,包括文本生成、文本摘要、翻译、代码生成、闲聊等等。

开放内测后,团队继续加大中文语料的预训练:「截止目前,MOSS 003 的基座语言模型已经在 100B 中文 token 上进行了训练,总训练 token 数量达到 700B,其中还包含约 300B 代码。」

在开放内测后,我们也收集了一些用户数据,我们发现真实中文世界的用户意图和 OpenAI InstructGPT 论文中披露的 user prompt 分布有较大差异(这不仅与用户来自的国家差异有关,也跟产品上线时间有关,早期产品采集的数据中存在大量对抗性和测试性输入),于是我们以这部分真实数据作为 seed 重新生成了约 110 万常规对话数据,涵盖更细粒度的 helpfulness 数据和更广泛的 harmlessness 数据。

内容来源:https://www.zhihu.com/question/596908242/answer/2994534005

目前,团队已将 moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三个模型上传到 HuggingFace。后续,还有三个模型将会开源。

0ea0e28e-e4ca-11ed-ab56-dac502259ad0.png

根据项目主页介绍,moss-moon 系列模型具有 160 亿参数,在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行,在 INT4/8 精度下可在单张 3090 显卡运行。

团队同时表示,由于模型参数量较小和自回归生成范式,MOSS 仍然可能生成包含事实性错误的误导性回复或包含偏见 / 歧视的有害内容,请谨慎鉴别和使用 MOSS 生成的内容,请勿将 MOSS 生成的有害内容传播至互联网。

新增能力

在 MOSS v0.0.3 中,团队加入了多项新能力。

团队构造了约 30 万插件增强的对话数据,包含搜索引擎、文生图、计算器、方程求解等。关于插件版 MOSS 如何使用,后续团队将在 GitHub 公布。

0eacf600-e4ca-11ed-ab56-dac502259ad0.png

MOSS v0.0.3 现已引入使用多种插件的能力。

下图展示了调用搜索引擎的能力:

0eb1dee0-e4ca-11ed-ab56-dac502259ad0.png

下图展示了调用方程求解器的能力:

0eba72d0-e4ca-11ed-ab56-dac502259ad0.png

下图展示了从文本生成图片的能力:

0ec1c2ce-e4ca-11ed-ab56-dac502259ad0.png

项目作者孙天祥补充说,MOSS 003 支持启用插件的能力是通过 meta instruction 来控制,类似 gpt-3.5-turbo 里的 system prompt。「因为是模型控制的,所以并不能保证 100% 控制率,以及还存在一些多选插件时调用不准、插件互相打架的缺陷,我们正在尽快开发新的模型来缓解这些问题。」

下载安装

下载本仓库内容至本地 / 远程服务器:

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

创建 conda 环境:

conda create --name moss python=3.8 conda activate moss

安装依赖:

pip install -r requirements.txt

其中 torch 和 transformers 版本不建议低于推荐版本。

根据协议,开源的 MOSS 可用于商业用途:

0ed45e98-e4ca-11ed-ab56-dac502259ad0.png

此外,开发者也可通过 API 调用 MOSS 服务,团队将根据当前服务压力考虑通过 API 接口形式提供服务,接口格式可参考:https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前,已有开发者根据开源内容进行而创,比如通过 VideoChat 进行视频问答

VideoChat 是一款多功能视频问答工具,结合了动作识别、视觉字幕和 StableLM 的功能。该工具可为视频中的任何对象和动作生成密集的描述性字幕,提供一系列语言风格以满足不同的用户偏好。它支持用户进行不同长度、情绪、语言真实性的对话。

0edbf838-e4ca-11ed-ab56-dac502259ad0.png

项目地址:https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 开源
    +关注

    关注

    3

    文章

    3348

    浏览量

    42496
  • 语言模型
    +关注

    关注

    0

    文章

    524

    浏览量

    10277
  • ChatGPT
    +关注

    关注

    29

    文章

    1560

    浏览量

    7664

原文标题:160亿参数,新增多项能力,复旦MOSS开源了

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    腾讯混元大模型上线并开源文生视频能力

    近日,腾讯宣布其混元大模型正式上线,并开源一项令人瞩目的能力——文生视频。该大模型参数量高达130亿,支持中英文双语输入,为用户提供
    的头像 发表于 12-04 14:06 152次阅读

    中国移动与中国石油发布700亿参数昆仑大模型

    800P的稳定算力资源。该模型还构建了160亿参数的多模态大模型,并融入了近400万的多模态语料,使其在数据处理和模式识别方面具备更强的能力。 在发布会上,中国移动与中国石油还展示
    的头像 发表于 12-04 11:17 328次阅读

    AMD发布10亿参数开源AI模型OLMo

    AMD公司近日宣布一项重大进展,推出了首个完全开放的10亿参数语言模型系列——AMD OLMo。这一举措为开发者和研究人员提供强大的AI研究工具,有助于推动AI技术的进一步发展。
    的头像 发表于 11-12 18:08 440次阅读

    云知声山海大模型多项能力全球领跑

    国内人工智能权威机构清华大学基础模型研究中心发布SuperBench九月综合榜单。本次评测选取海内外24个具有代表性的大模型,结果显示,山海大模型对齐、智能体、安全等多项能力全球领跑。
    的头像 发表于 10-12 14:30 417次阅读
    云知声山海大模型<b class='flag-5'>多项</b><b class='flag-5'>能力</b>全球领跑

    开放原子开源基金会五月新增捐赠人

    2024年5月,新增以下单位成为开放原子开源基金会及旗下项目捐赠人。
    的头像 发表于 09-24 10:48 741次阅读

    亿纬锂能发布的开源电池,循环寿命超过7000次

    亿纬锂能发布的“开源电池”具备3C超快充电速度,15分钟可从20%快充至80%SOC,比能量大于160Wh/kg,循环寿命超过7000次。
    的头像 发表于 05-19 11:25 1840次阅读

    通义千问推出1100亿参数开源模型

    通义千问近日震撼发布1100亿参数开源模型Qwen1.5-110B,这一举措标志着通义千问在AI领域迈出了重大步伐。该模型成为通义千问全系列首个千亿级参数
    的头像 发表于 05-06 10:49 587次阅读

    微信WCDB最新开源版本发布,优化数据库接口及核心逻辑,新增多项功能

    如今,微信已经发布此项重大技术升级的新版本 WCDB,以及其更为丰富的开发语言支持,如新增 C++以及对 Java 和 Kotlin 语言的 ORM 提供完整支援,覆盖越发广泛的终端平台;更强大的 SQL 表达能力,通过对 Winq 的重新书写和强化体现出来;
    的头像 发表于 04-09 15:59 669次阅读

    阿维塔12发布3.2.0版本更新,新增多项功能并优化细节

    特殊车道智能通行功能:城市和乡村的智驾领航辅助(NCA)和车道巡航辅助(LCC)均新增此功能,支持通过潮汐车道、公交车道控制杆进入NCA模式,并实现自动驶出的操作。
    的头像 发表于 03-28 14:27 613次阅读

    联发科天玑9300搭载通义千问大模型,阿里云提供解决方案

    通义千问大模型已开源多项版本,包括18亿、70亿、140亿及720亿
    的头像 发表于 03-28 09:55 598次阅读

    OBS Studio 30.1发布,新增多元功能,优化HDR色调映射滤镜

    在图像功能方面,HDR Tone Mapping 滤镜新增用于 SDR 的 maxRGB 色调映射器,Image Slideshow 可异步加载文件,自动裁剪至边界框添新选项。流媒体与录制过程中的 GPU 重采样设置亦得到简化。
    的头像 发表于 03-14 14:53 1207次阅读

    全球行业首次!北醒通过多项DO-160G认证测试

    近日,北醒新一代航空器用激光雷达产品通过多项DO-160G航空机载设备环境标准测试。作为全球首个参与DO-160G认证的激光雷达公司,这一系列测试的通过标志着北醒在安全飞行领域上达到了国际领先水平
    的头像 发表于 03-06 16:44 349次阅读

    东威科技PCB业务今年1-2月新增订单已过亿

    东威科技近期于机构调研时表示,公司比较看好2024年PCB业务,今年1—2月新增订单已过亿
    的头像 发表于 03-04 14:33 555次阅读

    北醒新一代激光雷达产品通过多项DO-160G航空机载设备环境标准测试

    近日,北醒新一代航空器用激光雷达产品通过多项DO-160G航空机载设备环境标准测试。
    的头像 发表于 02-28 14:57 522次阅读

    开放原子开源基金会新增捐赠人(2023年12月)

    2023年12月,新增以下单位成为开放原子开源基金会捐赠人: • 支付宝(杭州)信息技术有限公司 成为基金会黄金捐赠人 • 青岛软件园发展有限公司 成为基金会白银捐赠人 • 工业和信息化部
    的头像 发表于 01-15 20:50 1538次阅读
    开放原子<b class='flag-5'>开源</b>基金会<b class='flag-5'>新增</b>捐赠人(2023年12月)