0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

实操: 如何在AirBox上跑Stable Diffusion 3

算能开发者社区 2024-07-23 08:34 次阅读

以下文章来源于Radxa ,作者瑞莎

Stable Diffusion 3 Medium 是一种多模态扩散变换器 (MMDiT) 文本到图像模型,在图像质量、排版、复杂提示理解和资源效率方面具有显著提升的性能。

目前瑞莎团队使用 Stable Diffusion 3 Medium 开源模型,通过 SOPHON SDK 移植到 SG2300X 处理器系列产品上进行本地 TPU 硬件加速推理,实现在 radxa Airbox 上离线快速生成特色风格且带清晰文本的图片。

有关 Stable Diffusion 3 Medium 更多技术细节,请参阅官方网站和研究论文。

5895cb40-488b-11ef-817b-92fbcf53809c.png

Stable diffusion 3 模型架构

环境准备

硬件准备

  • Airbox + 65W的配套电源
  • 网线
  • 在局域网内可使用浏览器访问PC
  • Type-C 数据线(可选)

将网线根据您的网络环境选择插入 WAN 口(推荐接入广域网)或者 LAN 口(接入局域网),根据您的使用习惯可选将 Type-C 数据线 C 口端插入 Airbox Debug 口, A 口端插入至您的 PC,最后插入电源上电自动开机,更多详细关于硬件准备工作请参考这里

软件环境准备

针对熟练度不同的 Linux 开发者,可以选择两种方式进行环境准备。因 Airbox 镜像已经预装 CasaOS,所以本文以 CasaOS 命令行模式为例子进行部署 Stable Diffusion 3

  • 终端命令行模式
  • CasaOS 命令行模式(新手推荐)

开启终端

待 Airbox 开机后,通过您的 PC 浏览器访问 Airbox 的 IP 地址的 81 端口便可登录 CasaOS,如何获取 Airbox IP 地址?请参考这里

CasaOS 用户名和密码

Username:radxaPassword: radxa

Airbox 系统终端用户名和密码

Username: linaroPassword: linaro

点击 CasaOS 左上角第三个图标登陆 Airbox 系统终端

58dff940-488b-11ef-817b-92fbcf53809c.pngCasaOS 终端登陆界面

代码环境准备

终端打开后,接下来就直接复制提供的命令就好

克隆 SD3-Medium-TPU 代码仓库

cd /datagit clone https://github.com/zifeng-radxa/SD3-Medium-TPU.git && cd SD3-Medium-TPU

配置运行环境(仅需运行一次) 此脚本会自动配置所需运行依赖的库,请耐心等待安装

source env.sh

下载 radxa 提供好的 Stable Diffusion 3 bmodel 格式模型

如果您可以流畅访问 github, 可直接运行 run.sh 脚本, 这会自动从 github 上下载模型后并启动程序

bash run.sh

如果你出现下载的压缩包 md5 比对不过可以通过模型下载脚本重新下载

bash tar_downloader.sh

如果您无法使用 github 下载,radxa 提供百度云链接,请将下载好的 models 文件夹拷贝到 Airbox 上 SD-Medium-TPU/python_demo 文件夹中,您可以直接通过 CasaOS 文件管理器中直接上传至 Airbox

启动 Stable Diffusion 3 Gradio 服务确保下载好模型好启动服务

bash run.sh

启动后在您的 PC 浏览器访问 Airbox IP 的 8999 端口即可访问 Stable Diffusion3 Gradio 服务

58f33438-488b-11ef-817b-92fbcf53809c.png

Stable Diffusion3 Gradio 服务界面

使用示例

点击右上角 Load Model 加载模型

因为模型接近 10G 如果您的模型存放在 emmc 中,加载速度会比较慢,可以选择存放在 SSD 中

在 CasaOS 终端中可以看到各个模型的加载细节, SSD 中加载模型需要 37 秒

read file models/mmdit.bmodel, size 100000, duration 0.000318, speed 0.292869 GB/s[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/mmdit.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 26[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/clip_g.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 14[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/clip_l.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 34[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/t5.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 26[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/vae_decoder.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 1Youset`add_prefix_space`.Thetokenizerneedstobeconvertedfromtheslowtokenizers

填入Prompt信息

  • 在 Prompt 填入英文提示词,比如

A cat with a sign text Welcome to radxa!

  • 可选填入 Negative Prompt 反向提示词(输入不想出现的物体)

deformed, lowres, bad anatomy, error, extra digit, fewer digits, cropped, worst quality, low quality, jpeg artifacts, signature, watermark, username, blurry, artist name

选择合理的步数和 CFG值,可选 clip skip(跳过模型推理的最后层数,建议为0)和随机种子,最后点击 Submit 按钮开始生成任务,生成的图片结果会直接显示在右边,点击下载图标可自行下载


终端中会打印运行进度,可见平均每个 step 需要 2.93s

set seed to: 15>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100%|████████████████████████████████████████████████████████████████████|28/28[01:22<00:00,  2.93s/it]

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 变换器
    +关注

    关注

    17

    文章

    2099

    浏览量

    109312
  • 图像
    +关注

    关注

    2

    文章

    1084

    浏览量

    40470
  • 模型
    +关注

    关注

    1

    文章

    3244

    浏览量

    48850
收藏 人收藏

    相关推荐

    RK3588开发板(armsom-w3)之PWM

    RK3588开发板(armsom-w3) 之 PWM
    的头像 发表于 06-10 10:38 2181次阅读
    RK3588开发板(armsom-w<b class='flag-5'>3</b>)之PWM<b class='flag-5'>实</b><b class='flag-5'>操</b>

    Stable Diffusion的完整指南:核心基础知识、制作AI数字人视频和本地部署要求

    的,其目的是消除对训练图像的连续应用高斯噪声,可以将其视为一系列去噪自编码器。Stable Diffusion3个部分组成:变分自编码器(VAE)、U-Net和一个文本编码器。添加和去除高斯噪声的过程被
    的头像 发表于 09-18 10:06 2464次阅读
    <b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b>的完整指南:核心基础知识、制作AI数字人视频和本地部署要求

    电工操作

    ZN-890Q电工操作柜(单面双组型)一、概述ZN-890Q电工操作柜(单面双组型)由钢板作制作的多功能安装板(网孔板)训台和电源
    发表于 07-02 07:14

    Stability AI开源图像生成模型Stable Diffusion

    Stable Diffusion 的很多用户已经公开发布了生成图像的样例,Stability AI 的首席开发者 Katherine Crowson 在推特分享了许多图像。基于 AI 的图像合成可能会对艺术家和艺术领域带来一定
    的头像 发表于 09-21 15:37 2957次阅读

    大脑视觉信号被Stable Diffusion复现图像!“人类的谋略和谎言不存在了”

    它不需要在复杂的深度学习模型上进行训练或做精细的微调,只需要做好fMRI(功能磁共振成像技术)成像到Stable Diffusion中潜在表征的简单线性映射关系就行。
    的头像 发表于 03-08 10:21 769次阅读

    大脑视觉信号被Stable Diffusion复现图像!

    它不需要在复杂的深度学习模型上进行训练或做精细的微调,只需要做好fMRI(功能磁共振成像技术)成像到Stable Diffusion中潜在表征的简单线性映射关系就行。
    的头像 发表于 03-16 10:26 819次阅读

    一文读懂Stable Diffusion教程,搭载高性能PC集群,实现生成式AI应用

    PC Farm、生成式AI和Stable Diffusion模型都是非常有用的工具和技术,可以帮助用户快速构建和管理计算机集群,生成高质量的数据和图像,提高模型的泛化能力和鲁棒性。
    的头像 发表于 05-01 07:47 2359次阅读
    一文读懂<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b>教程,搭载高性能PC集群,实现生成式AI应用

    使用OpenVINO™在算力魔方加速stable diffusion模型

    Stable Diffusion 是 stability.ai 开源的 AI 图像生成模型,实现输入文字,生成图像的功能。Stable Diffusion 将 AI 图像生成提升到了全
    的头像 发表于 05-12 09:10 1469次阅读
    使用OpenVINO™在算力魔方<b class='flag-5'>上</b>加速<b class='flag-5'>stable</b> <b class='flag-5'>diffusion</b>模型

    优化 Stable Diffusion 在 GKE 的启动体验

    Diffusion 等应运而生。Stable Diffusion 是一个文字生成图像的 Diffusion 模型,它能够根据给定任何文本输入生成逼真的图像。我们在 GitHub Re
    的头像 发表于 06-03 08:35 898次阅读

    iPhone两秒出图,目前已知的最快移动端Stable Diffusion模型来了

    近日,Snap 研究院推出最新高性能 Stable Diffusion 模型,通过对网络结构、训练流程、损失函数全方位进行优化,在 iPhone 14 Pro 实现 2 秒出图(512x512
    的头像 发表于 06-12 15:25 785次阅读
    iPhone两秒出图,目前已知的最快移动端<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b>模型来了

    使用OpenVINO在Stable Diffusion V2.1实现AI硬件加速的方法

    随着 AIGC 模型越来越强大,并取得了更惊人的结果,任意运行 AIGC 模型, 比如 Stable Diffusion,对于开发人员来说仍然面临一些挑战。首先,GPU 的安装设置需要我们处理复杂
    的头像 发表于 07-21 11:47 2049次阅读
    使用OpenVINO在<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b> V2.1<b class='flag-5'>上</b>实现AI硬件加速的方法

    树莓派能跑Stable Diffusion了?

    Stable Diffusion是一种文本到图像生成的大型深度学习模型,它可以根据文本的描述生成详细的图像,也可以用于其他任务,如图像修复、图像扩展、图像翻译等。
    的头像 发表于 07-26 11:46 1554次阅读

    Stable Diffusion的完整指南:核心基础知识、制作AI数字人视频和本地部署要求

    13400;i3 12100;i7 12700 ;i9 12900  在当今的数字时代,人工智能正在逐步改变人们的生活和工作方式。其中,Stable Diffusion作为一种深度学习技术,受到广泛关注。它能够通过对图像或视频
    的头像 发表于 09-07 14:12 2229次阅读
    <b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b>的完整指南:核心基础知识、制作AI数字人视频和本地部署要求

    PCB设计如何在中规范的布局

    作为PCB设计的重点,布局是布线的基础,一个完美的布局开端,直接使得布线工作量事半功倍。 本次就来说一下如何在真实的当中规范的布局。 对于Altium Designer软件,相比于其他软件,它
    的头像 发表于 11-06 15:24 611次阅读
    PCB设计如<b class='flag-5'>何在</b><b class='flag-5'>实</b><b class='flag-5'>操</b>中规范的布局

    如何开启Stable Diffusion WebUI模型推理部署

    如何开启Stable Diffusion WebUI模型推理部署
    的头像 发表于 12-11 20:13 107次阅读
    如何开启<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b> WebUI模型推理部署