0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果

jf_8lIj6kO1 来源:QbitAI 2023-06-07 16:12 次阅读

跑大语言模型的门槛,已经降低到一部iPhone了。

当然安卓版本也有,只要手机RAM够6G,听上去是不是比用2060还要震撼?

而且这次还是开箱即用的版本!

ec15e2c4-04cb-11ee-90ce-dac502259ad0.png

这个项目名为MLC LLM,与之前的WebLLM同出自知名学者陈天奇团队。

截止目前已在GitHub上斩获超6800星。

ec1e383e-04cb-11ee-90ce-dac502259ad0.png

目前可以测试的模型有羊驼家族(基于LLaMA)的RedPajama和Vicuna。

可选模型参数分别为30亿和70亿,与很多在线Demo规模也相当了。

ec266c34-04cb-11ee-90ce-dac502259ad0.png

RedPajama团队表示,这一成果打开了大模型私有化部署的可能性。

ec436c8a-04cb-11ee-90ce-dac502259ad0.gif

话不多说,快来看看体验如何。

文字功底尚可,但理科是短板

我们选择了其中的Vicuna模型进行测试。

首先测试一下它的文学造诣,于是让它为四个季节分别写了一首诗。

韵律吗,基本上是两三句一押。

f5cc3200-04cb-11ee-90ce-dac502259ad0.png

除了诗歌,故事也能创作,甚至还能写出内心戏来。

f609280e-04cb-11ee-90ce-dac502259ad0.png

不只是爱情,其他类型的故事也难不倒它。

f68bd146-04cb-11ee-90ce-dac502259ad0.png

除了文学上的应用,我们不妨再来试试它的实用功能。

我们让它生成了一道夏威夷披萨的菜谱,看上去还蛮不错。

f69db1a4-04cb-11ee-90ce-dac502259ad0.png

旅游计划也可以让它来安排。

f6abaf0c-04cb-11ee-90ce-dac502259ad0.png

我们再来看看它在理工科上的表现怎么样。

首当其冲的是代码,我们让它尝试用Python写了一段寻找最大数的代码。

f6f8f30c-04cb-11ee-90ce-dac502259ad0.png

想不到上来就是一通枚举……不过结果倒也是符合要求。

defmax_of_three(num1,num2,num3):
ifnum1>num2andnum1>num3:
returnnum1
elifnum2>num1andnum2>num3:
returnnum2
elifnum3>num1andnum3>num2:
returnnum3
returnNone

num1=11
num2=45
num3=14
max_value=max_of_three(num1,num2,num3)
print("Themaximumvalueis:",max_value)

f71655b4-04cb-11ee-90ce-dac502259ad0.png

不过遇到稍难的问题,它的编程能力就有些捉襟见肘了。

f730020c-04cb-11ee-90ce-dac502259ad0.jpg

至于数学和逻辑推理则一言难尽,不过毕竟为适配手机参数有限,倒也情有可原。

f735b198-04cb-11ee-90ce-dac502259ad0.png

我们还试了试用中文进行提问,但发现目前对中文的适配还有些问题。

f73eb964-04cb-11ee-90ce-dac502259ad0.jpg

另外,移动APP目前还不具有保存聊天记录功能,切出界面时一定要小心小心再小心。

虽然目前能在手机上跑的大模型能力还有限,但团队也展示了未来更多发展方向。

比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App嵌入、去中心化等等。

f7624474-04cb-11ee-90ce-dac502259ad0.png

如何安装

这款大模型支持iOS、安卓移动设备,以及Windows和Mac

iOS用户可以先安装好TestFlight,然后从下面的传送门申请测试:

传送门:https://testflight.apple.com/join/57zd7oxa

如果名额已满,也可以用GitHub上的代码自行编译安装

传送门:https://github.com/mlc-ai/mlc-llm

安卓用户直接下载apk安装即可,第一次运行时需联网下载数据包。

传送门:https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk

桌面用户请参阅官方教程

传送门:https://mlc.ai/mlc-llm/


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • iPhone
    +关注

    关注

    28

    文章

    13446

    浏览量

    201448
  • 大模型
    +关注

    关注

    2

    文章

    2333

    浏览量

    2489

原文标题:我在iPhone上装了70亿参数大模型,来自陈天奇团队最新成果

文章出处:【微信号:玩转VS Code,微信公众号:玩转VS Code】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    轿车参数化分析模型的构造研究及应用

    的分析方法的具体实现在结合开发过程特点的基础上提出分析用的参数化简化模型和概念设计阶段的车身开发平台利用高效的分析模型和统一的开发环境加快车身早期开发过程本文充分研究国外早期车身开发
    发表于 04-16 13:40

    超次元空间,《睡在上铺的兄弟》曝海报《睡梦空间》春眠觉晓

               由乐视影业、乐视视频、乐视自制、乐视影视会员出品,张琦执导、李锦文任制片人及监制,晓、杜皓、刘芮麟、李现主演的青春校园超级网剧《睡在上铺的兄弟》免费版正在乐视全屏
    发表于 02-05 09:19

    力新扩大越南厂产能 3年内跻身全球前三大电感厂

    国巨旗下被动组件大厂力新26日完成与10家金融机构银行团5年期总额新台币35亿元的联贷签约,资金用途以偿还既有借款与扩产所需。力新董事长泰铭乐观表示,2016年第3季业绩表现会是
    发表于 10-08 11:51

    为MPC5xx微控制器安装了基于模型的设计工具箱, MATLAB硬件板中建模后要配置参数块时没有反映出来的原因?

    已经为 MPC5xx 微控制器安装了基于模型的设计工具箱,但是当我 MATLAB 硬件板中建模后要配置参数块时,没有反映出来。
    发表于 03-17 06:29

    最新成果展示:频率调制模型

    基于Crosslight先进的半导体器件仿真设计平台,司技术团队已开发出可靠精准的 频率调制模型 。基于此模型,器件7mA的工作电流下,
    发表于 04-07 16:43 586次阅读

    一个GPU训练一个130亿参数模型

    现在的模型动辄数百、数千亿参数,普通人训不动怎么办? 前不久,谷歌发布了参数量为 1.6 万亿的语言模型Swith Transformer,将 GPT-3 创下的
    的头像 发表于 02-11 09:04 2409次阅读
    一个GPU训练一个130<b class='flag-5'>亿</b><b class='flag-5'>参数</b>的<b class='flag-5'>模型</b>

    据测算 80%的活跃iPhone上安装了iOS14

    80%的活跃iPhone上安装了iOS 14,86%的过去四年内推出的iPhone上安装了iOS 14。
    发表于 03-05 14:02 488次阅读

    天数智芯垓100率先完成百亿级参数模型训练

    6月,第五届智源大会AI系统分论坛上,上海天数智芯半导体有限公司(以下简称“天数智芯”)对外宣布,垓100加速卡的算力集群,基于北京智源人工智能研究院(以下简称“智源研究院”)70
    的头像 发表于 06-12 15:23 1028次阅读
    天数智芯<b class='flag-5'>天</b>垓100率先完成百亿级<b class='flag-5'>参数</b>大<b class='flag-5'>模型</b>训练

    垓100率先完成百亿级参数模型训练,天数智芯迎来新的里程碑

    6月10日,第五届智源大会AI系统分论坛上,上海天数智芯半导体有限公司(以下简称“天数智芯”)对外宣布,垓100加速卡的算力集群,基于北京智源人工智能研究院(以下简称“智源研究院”)70
    发表于 06-12 15:46 271次阅读
    <b class='flag-5'>天</b>垓100率先完成百亿级<b class='flag-5'>参数</b>大<b class='flag-5'>模型</b>训练,天数智芯迎来新的里程碑

    联发科与vivo强强联手,行业首次在手机端侧落地70亿AI大语言模型

    最近,联发科和vivo联袂宣告了行业第一的合作突破,他们成功将10亿70亿AI大语言模型,以及10亿AI视觉大
    的头像 发表于 10-18 12:40 915次阅读

    联发科玑9300最高可运行330亿参数AI大模型

    联发科玑9300最高可运行330亿参数AI大模型 联发科这个是要把AI大模型带到手机端的节奏吗?联发科正式发布了
    的头像 发表于 11-07 19:00 1706次阅读

    蚂蚁推出20亿参数多模态遥感模型SkySense

    据了解,负责开发的百灵团队利用自身拥有的19亿遥感影像数据集进行了预训练,从而生成了具有20.6亿参数的SkySense大模型。官方称其为全
    的头像 发表于 02-28 15:53 623次阅读

    苹果发布300亿参数MM1多模态大模型

    近日,科技巨头苹果公司一篇由多位专家共同撰写的论文中,正式公布了其最新的多模态大模型研究成果——MM1。这款具有高达300亿参数的多模态
    的头像 发表于 03-19 11:19 846次阅读

    微软天气预报领域突破,新AI模型精准预测未来30

    微软天气预报领域取得显著成果。其Start团队成功研发了一种全新AI模型,能够更精准地预测未来30的天气状况。
    的头像 发表于 05-10 11:23 782次阅读

    中国石油发布330亿参数昆仑大模型

    中国石油近日于北京举行的成果发布会上,震撼发布了拥有330亿参数的昆仑大模型,标志着中国能源化工行业正式迈入大
    的头像 发表于 08-29 18:10 792次阅读