0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

RISC-V 跑大模型(三):LLaMA中文扩展

澎峰科技PerfXLab 来源:澎峰科技PerfXLab 作者:澎峰科技PerfXLab 2023-07-17 17:15 次阅读

这是RISC-V跑大模型系列的第三篇文章,前面我们为大家介绍了如何在RISC-V下运行LLaMA,本篇我们将会介绍如何为LLaMA提供中文支持。

1.模型扩充

以下步骤在X86下进行:

1.1准备工作

安装最新版本的python和以下依赖库。

pip install protobuf==3.20.0 结构化数据存储格式
pip install transformers 把原版模型转换为HF格式
pip install sentencepiece 无监督的文本标记器和去标记器
pip install peft 使用LoRA的工具

1.2模型下载

下载LLaMA原版模型和中文扩充

LLaMA原版模型:

https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/

中文扩充:

https://huggingface.co/ziqingyang/chinese-alpaca-lora-7b

下载后的目录如下:

wKgaomS1AoiAbJSYAACUfmvct_s083.pngwKgZomS1Ao6ACv0GAABF7DbXaIQ678.png

1.3合并模型

(1) 将LLaMA原版模型转换为Huggingface格式。这一步需要借助transformers提供的脚本convert_llama_weights_to_hf.py。

下载链接:https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py

请执行以下命令:

python convert_llama_weights_to_hf.py --input_dir path_to_original_llama_root_dir --model_size 7B --output_dir path_to_original_llama_hf_dir

命令解释:将原版LLaMA的tokenizer.model放在--input_dir指定的目录,其余文件放在${input_dir}/${model_size}下。执行以下命令后,--output_dir中将存放转换好的Huggingface版权重。

(2) 合并LoRA权重,生成Huggingface全量模型,这一步需要借助:merge_llama_with_chinese_lora.py。

下载链接:

https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/scripts/merge_llama_with_chinese_lora.py

执行命令:

python merge_llama_with_chinese_lora.py --base_model path_to_original_llama_hf_dir --lora_model chinese-alpaca-lora-7b --output_dir path_to_output_dir

命令解释:这一步的参数可以参照上一步。

2.移植模型

在完成前面的步骤后会得到一个path_to_output_dir的目录,目录内容如下:

wKgZomS1BGiAcPf6AAC6mGVvrpk862.png

将目录下的consolidate.00.path和params.json上传到RISC-V中的llama.cpp/models目录下,这一步可以借助scp来实现:scp “源文件路径” 账户@地址:目的路径。之后的步骤可以参考本系列的第二篇文章。链接如下:RISC-V 跑大模型(二):LLaMA零基础移植教程

最后的运行效果:

wKgZomS1BNiAJHVQAAIxHb8elDk082.png

3.结语

我们也为大家准备好已经扩展了中文的LLaMA供大家使用,只要扫描下面的二维码,进群即可获得下载地址。之后我们还会对LLaMA进行优化加速,敬请期待。

另外,RISC -V跑大模型系列文章计划分为四期:

1.RISC -V跑大模型(一)

2.RISC-V 跑大模型(二):LLaMA零基础移植教程

3.RISC-V跑大模型(三):LLaMA中文扩充(本篇)

4.更多性能优化策略。(计划)

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19096

    浏览量

    228795
  • RISC-V
    +关注

    关注

    44

    文章

    2203

    浏览量

    45952
  • 大模型
    +关注

    关注

    2

    文章

    2273

    浏览量

    2350
  • LLM
    LLM
    +关注

    关注

    0

    文章

    263

    浏览量

    297
收藏 人收藏

    评论

    相关推荐

    RISC-V,即将进入应用的爆发期

    计算机由控制整体的CPU(中央处理器)和加速器两部分构成。在AI计算中,功耗和效率是两个关键因素。RISC-V架构通过其简洁的设计和定制化的扩展,可以实现高效的能量使用。该架构能够通过小型且高效的处理单元
    发表于 10-31 16:06

    RISC-V近期市场情况调研

    RISC-V芯片的发展情况 全球趋势 :RISC-V架构因其开源、免费、模块化和可扩展的特点,获得了业界的广泛支持。包括苹果、Intel、高通等国际巨头都在积极布局RISC-V生态
    的头像 发表于 10-23 15:10 272次阅读

    加入全球 RISC-V Advocate 行列,共筑 RISC-V 的未来 !

    加入RISC-VAdvocate行列!我们正在寻找来自世界各地的RISC-V爱好者,通过全球推广和参与,成为支持RISC-V进步的关键参与者。作为一名RISC-VAdvocate,您将
    的头像 发表于 09-10 08:08 270次阅读
    加入全球 <b class='flag-5'>RISC-V</b> Advocate 行列,共筑 <b class='flag-5'>RISC-V</b> 的未来 !

    RISC-V Summit China 2024 青稞RISC-V+接口PHY,赋能RISC-V高效落地

    第二届RISC-V中国峰会的南京会场;青稞RISC-V的单双线调试技术,在第届峰会上入选RISC-V新技术与新成果。
    的头像 发表于 08-30 18:18 1325次阅读
    <b class='flag-5'>RISC-V</b> Summit China 2024  青稞<b class='flag-5'>RISC-V</b>+接口PHY,赋能<b class='flag-5'>RISC-V</b>高效落地

    RISC-V Summit China 2024 | 青稞RISC-V+接口PHY,赋能RISC-V高效落地

    量产芯片的关键技术;公司筹备了第二届RISC-V中国峰会的南京会场;青稞RISC-V的单双线调试技术,在第届峰会上入选RISC-V新技术与新成果。 02 连接联网连世界 有核有根有
    发表于 08-30 17:37

    risc-v的发展历史

    本的RISC-V指令集架构,即RISC-V v2.0。这个版本为32位和64位的RISC-V架构定义了基本的指令集,并概述了未来的扩展指令集
    发表于 07-29 17:20

    rIsc-v的缺的是什么?

    RISC-V作为一种开源的指令集架构(ISA),自其诞生以来就受到广泛关注和应用,但它也存在一些不足之处。以下是RISC-V架构目前存在的主要缺点: 1. 性能问题 相对于专用ISA的性能差距:尽管
    发表于 07-29 17:18

    为什么要有RISC-V

    的,永远不会改变。这为编译器编写者,操作系统开发人员和汇 编语言程序员提供了稳定的目标。模块化来源于可选的标准扩展,根据应用程序的需要,硬件可以包含或不包含这些扩展。这种模块化特性使得RISC-V具有了
    发表于 07-27 15:05

    RISC-V的MCU与ARM对比

    和实现。这意味着RISC-V具有高度的灵活性和可定制性,可以根据不同的应用需求进行优化和扩展。 ARM :ARM是一种专有的架构,任何想要使用ARM的指令集或实现的设计者都必须向ARM公司支付版权费
    发表于 05-27 15:58

    解锁RISC-V技术力量丨曹英杰:RISC-V与大模型探索

    助力RISC-V开发等话题,多位业内嘉宾发表了主旨演讲。会上,时擎科技高级技术总监曹英杰以“RISC-V与大模型探索”为题,将大模型作为切入点,探讨了
    的头像 发表于 04-16 08:16 598次阅读
    解锁<b class='flag-5'>RISC-V</b>技术力量丨曹英杰:<b class='flag-5'>RISC-V</b>与大<b class='flag-5'>模型</b>探索

    有用risc-v芯片系统的吗?

    risc-v芯片系统有什么需要注意的呢?
    发表于 03-29 21:52

    RISC-V的迷人之处

    ,如果要调用处理器RISC-V,则必须遵循规则。名称“ RISC-V”是商标,并且还有商标的变体,子集,配置文件和扩展名,这些变体,子集,配置文件和扩展名均由总部位于瑞士的
    发表于 02-12 20:58

    什么是RISC-V

    siFive搞RISC-V 赛昉搞RISC-V 香山搞RISC-V 到底什么是RISC-V? 先不问有什么用,RISC-V目前的能力来说,工
    发表于 02-02 10:41

    RISC-V开放架构设计之道|阅读体验】RISC-V基础整数指令集

    分支的B型,用于长立即数的U型和用于无条件跳转的J型。 下面是本章的思维导图: RV32I是RISC-V的基础指令集,后续会继续拓展RISC-V的其它指令集扩展
    发表于 01-31 21:10

    赛昉科技重磅亮相RISC-V Summit 2023

    近日,赛昉科技重磅亮相RISC-VSummit2023(2023年RISC-V北美峰会),并连续年发表主题演讲,展现赛昉科技推动RISC-V软件生态的最新成果。
    的头像 发表于 11-22 08:19 544次阅读
    赛昉科技重磅亮相<b class='flag-5'>RISC-V</b> Summit 2023