0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

聊聊小公司如何做大模型

深度学习自然语言处理 来源:李文举说@知乎 2024-02-21 11:28 次阅读

在小公司做大模型,这个事情是可以的。

笔者在小公司,做了一年多的大模型。先列一下成绩单:

开源了目前业界可能是分类较完整(50类)、数量较大(1100+万)的SFT数据集:匠数科技大模型sft数据集[1]

通过SFT、DPO、RLHF等技术训练了领域写作模型。实测下来,在该领域写作上,强于国内大多数的闭源模型。

如何在小公司做大模型,笔者总结,有如下几点:

1、至少要有基础的硬件条件。

如果双卡3090都没有,那是比较难的。实在没有,可以说服老板,租机器训练。

2、要有选择跟进模型训练、部署的最新进展,选主流、走大道。

技术迭代太快,人力有限的情况下,不可能什么都跟进的。比如部署,市面上的部署方案很多了,但是主流的就是vllm,所以,集中精力将vllm搞懂用好,就够了,其他的可以了解,但不用重点关注。

再比如各种训练技术,经过验证好用的也就是那么几个。看起来过于旁门左道的论文,可以先放放,让子弹飞一会儿再说。提一点,DPO确实是小公司对齐训练的福音。

3、要坚持开放交流,多加群。

围绕llm,有很多社群,也有很多活动,可以选择性参加,但是切记切记,不要过分沉溺其中,以为这样就能紧跟时代前沿,掌握最新趋势了。假装学到很多,是很有害滴。记得前段时间不是有个什么架构,号称取代transformer吗?铺天盖地的宣传,笔者当时也听了作者的线上分享。现在呢?自己连个像样的模型都没搞出来。纯纯浪费太多精力。相信时间会证明一切。

4、要针对业务场景解决问题,不要陷入llm崇拜。

这种现象典型的就是不是llm的工作就提不起神,不想做。实话实说,这是病,得治。笔者根据业务问题需求,开源的cutword[2],就是为了替代jieba的新一代分词工具,同时,ner类型和效果都是目前开源中一流的,也收获了大家的认可。

解决问题才是关键。不能有了llm这个锤子,看什么都是钉子。具体问题具体分析的能力很重要。

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大模型
    +关注

    关注

    2

    文章

    2544

    浏览量

    3086

原文标题:如何在小公司做大模型

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    相关推荐

    中国2家AI公司连发新模型赶超OpenAI

    )本身就是国内两家备受关注的人工智能大模型创业公司;一些国外网友在贴吧留言表示中国AI追赶速度越来越快。 在技术社区Hacker News,有一位开发者感叹“中国初创公司已展现出赶超美国人工智能
    的头像 发表于 01-23 17:00 389次阅读

    SAR ADC如何做好布线布局?

    SAR ADC如何做好布线布局?
    发表于 12-17 08:27

    聊聊std::move函数和std::forward函数

    今天我们聊聊Modern cpp的两个非常重要的概念移动语义和转发引用。
    的头像 发表于 11-05 16:58 376次阅读

    华秋商城器件做EDA封装

    EDA相样封装,尤其小公司及创业公司研发人员。 3: 华秋的PCB 及SMT业务是个亮点。比竞争对手做得好。点赞!
    发表于 10-26 09:59

    从“可用”到“好用”,百度智能云如何做大模型的“超级工厂”?

    如果说,过去两三年大模型处于造锤子阶段,那么今年,更多的则是考验钉钉子的能力,面对各类业务场景大模型是否能够有的放矢、一击必中,为千行百业深度赋能。   当前市场上,已经有200多把这样的锤子在疯狂
    的头像 发表于 09-26 18:18 345次阅读
    从“可用”到“好用”,百度智能云<b class='flag-5'>如何做大</b><b class='flag-5'>模型</b>的“超级工厂”?

    用LM3886T做大功率输出时,发现输出信号的波形不平滑,为什么?

    最近我用LM3886T做大功率输出时,发现输出信号的波形不平滑,特别是在输入信号比较小的情况下。 附件是我的输出波形,希望能点建议,如何才能变的比较平滑。 谢谢!
    发表于 09-18 08:29

    新火种AI 大模型公司纷纷被收编!创始人们逐渐变成了“最讨厌的自己”?

    最近,国内大模型公司的融资潮正在如火如荼的进行着,各大公司纷纷收获了融资,正在携手迈进“200亿估值”的门槛。 不过,与国内大模型领域的繁花似锦相比,国外的大
    的头像 发表于 08-21 15:05 318次阅读
    新火种AI 大<b class='flag-5'>模型</b><b class='flag-5'>公司</b>纷纷被收编!创始人们逐渐变成了“最讨厌的自己”?

    Hugging Face科技公司推出SmolLM系列语言模型

    7月22日最新资讯,Hugging Face科技公司在语言模型领域再创新高,正式推出了SmolLM系列——一款专为适应多样计算资源而设计的紧凑型语言模型家族。该系列包含三个版本,分别搭载了1.35亿、3.6亿及17亿参数,旨在以
    的头像 发表于 07-23 16:35 386次阅读

    如何做好大功率环形电感选型工作

    电子发烧友网站提供《如何做好大功率环形电感选型工作.docx》资料免费下载
    发表于 07-04 17:08 1次下载

    潞晨训推一体机,画出大模型到企业的一条龙路线图

    企业做大模型,如何才能不折腾?
    的头像 发表于 06-14 09:41 1700次阅读
    潞晨训推一体机,画出大<b class='flag-5'>模型</b>到企业的一条龙路线图

    【大语言模型:原理与工程实践】大语言模型的基础技术

    下游任务提供丰富的文本表示,如谷歌公司推出的BERT。(2) Decoder-Only 预训练语言模型:这类模型一般使用单向的 Decoder 结构,通常擅长生成任务,如OpenAI 推出的 GPT 系列
    发表于 05-05 12:17

    ASML任命新CEO,带领公司走向未来

    据了解,福奎特将延续文宁克制定的战略方向。十余年前,文宁克接手ASML时,这家荷兰小公司如今已成长为全球顶尖半导体制造商的重要合作伙伴。
    的头像 发表于 04-25 16:34 765次阅读

    STM32扩展IO口如何做

    STM32扩展IO口,如何做
    发表于 04-16 08:27

    sora模型中国可以使用吗 sora模型是哪个公司

    Sora,美国人工智能研究公司OpenAI发布的人工智能文生视频大模型(但OpenAI并未单纯将其视为视频模型,而是作为“世界模拟器” ,于2024年2月15日(美国当地时间)正式对外发布
    的头像 发表于 02-22 16:52 3406次阅读

    sora模型上市公司 sora模型对现实的影响

    sora模型的上市公司目前没有相关官方的报道,因此无法给出准确的回答。 Sora能够获取现有视频并对其进行扩展或填充缺失的帧,这一功能在视频编辑、电影特效等领域具有应用前景,可以帮助用户快速完成视频
    的头像 发表于 02-22 16:46 1158次阅读