0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

让AI学会画手的方法来了,给输入加个buff就能控制生成细节

OpenCV学堂 来源:量子位 2023-02-21 11:00 次阅读

给画画AI加个buff,画起图像就像开了挂。

加个人体骨骼绑定buff,Stable Diffusion直接快进到生成3D动漫:

82535af4-b13a-11ed-bfe3-dac502259ad0.gif

加个抽象到爆的草图buff,AI变着风格生成“完全一致”的狗子:

8283c95a-b13a-11ed-bfe3-dac502259ad0.png

就连号称“AI杀手”的手部细节,也能在控制之下画得惟妙惟肖:

84172f50-b13a-11ed-bfe3-dac502259ad0.png

这个名叫ControlNet的新AI插件,可以说是给画画AI来了最后的“临门一脚”——

原本AI无法控制的手部细节、整体架构,有了它之后,加上Stable Diffusion这样的扩散模型,足以生成任何人们想要的图像。

发出不到两天,ControlNet就在GitHub上火了,目前已经狂揽4.6k星:

844befe2-b13a-11ed-bfe3-dac502259ad0.png

△“让我们控制扩散模型”

各种效果图更是在推特上爆火,试玩过的网友直呼:

游戏结束!

8465c746-b13a-11ed-bfe3-dac502259ad0.png

所以,这个ControlNet究竟给扩散模型加了什么buff?

给AI画画模型加buff

ControlNet的原理,本质上是给预训练扩散模型增加一个额外的输入,控制它生成的细节。

这里可以是各种类型的输入,作者给出来的有8种,包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。

那么,让大模型学会“按输入条件生成图片”的原理是什么呢?

ControlNet整体思路和架构分工如下:

849670da-b13a-11ed-bfe3-dac502259ad0.png

具体来说,ControlNet先复制一遍扩散模型的权重,得到一个“可训练副本”(trainable copy)。

相比之下,原扩散模型经过几十亿张图片的预训练,因此参数是被“锁定”的。而这个“可训练副本”只需要在特定任务的小数据集上训练,就能学会条件控制。

据作者表示,即使数据量很少(不超过5万张图片),模型经过训练后条件控制生成的效果也很好。

“锁定模型”和“可训练副本”通过一个1×1的卷积层连接,名叫“0卷积层”。

0卷积层的权重和偏置初始化为0,这样在训练时速度会非常快,接近微调扩散模型的速度,甚至在个人设备上训练也可以。

例如一块英伟达RTX 3090TI,用20万张图像数据训练的话只需要不到一个星期:

84dc0e88-b13a-11ed-bfe3-dac502259ad0.png

作者基于当前大火的Stable Diffusion进行了具体实现,主要架构如下:

85209db4-b13a-11ed-bfe3-dac502259ad0.png

针对不同的输入,作者也给出了对应不同的模型,生成效果也都不错。

例如这是采用Canny边缘检测算法检测出的边缘,用于生成图像:

85747290-b13a-11ed-bfe3-dac502259ad0.png

这是基于霍夫变换的直线检测算法生成的直线草图,用于生成各种风格的室内设计:

8594a8a8-b13a-11ed-bfe3-dac502259ad0.png

当然,自己作画也可以,例如这是基于用户草图生成的小龟:

85b49ece-b13a-11ed-bfe3-dac502259ad0.png

提取深度图,并让AI生成一幅相似的图像,直接举一反五:

85de83a6-b13a-11ed-bfe3-dac502259ad0.png

语义分割下的游泳池图像,不仅水里有倒影细节,建筑也变化多样:

8617b98c-b13a-11ed-bfe3-dac502259ad0.png

不过目前来看,最受欢迎的还是基于人体姿态估计算法,控制动漫人物的动作生成:

8633039a-b13a-11ed-bfe3-dac502259ad0.png

看到这里,是不是已经有了大胆的想法?(手动狗头)

曾开发爆火AI上色插件

这个项目的作者Lvmin Zhang,2021年本科毕业于东吴大学,目前在斯坦福大学读博。

他最出名的项目之一,是2017年开发的AI上色插件style2paints,目前GitHub上已经有15.9k星。

8693c266-b13a-11ed-bfe3-dac502259ad0.png

style2paints也经过了好几次迭代,目前即将更新到第五版。

这是第四版的效果,只需要线稿,AI就能自动给你的图像完成上色:

86b1f2a4-b13a-11ed-bfe3-dac502259ad0.png

除了这个项目以外,他也是CV顶会的常客了。

86de6cf8-b13a-11ed-bfe3-dac502259ad0.png

One More Thing

值得一提的是,现在已经有基于ControlNet的国内产品上线了。

这个产品名叫稿定AI,包含照片转插画、插画线稿上色、插画优化翻新等功能,正是基于ControlNet打造。

作画效果大概是酱婶的:

870cdc00-b13a-11ed-bfe3-dac502259ad0.png

感兴趣的小伙伴们可以去试玩一波了~

项目地址: https://github.com/lllyasviel/ControlNet

参考链接: [1]https://lllyasviel.github.io/Style2PaintsResearch/ [2]https://twitter.com/search?q=controlnet&src=typed_query [3]https://www.gaoding.com/ai

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268917
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24691

原文标题:让AI学会画手的方法来了,给输入加个buff就能控制生成细节,华人小哥出品丨GitHub 4.6k星

文章出处:【微信号:CVSCHOOL,微信公众号:OpenCV学堂】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    生成AI如何在智能家居中落地?

    ,创造新内容的能力为新的应用开辟了许多可能性,尤其在智能家居中,生成AI更是大有可为。   通过生成AI,智能家居可以学习家庭成员的行为模式,了解他们的喜好和需求,并根据这些信息来
    的头像 发表于 07-27 00:19 1696次阅读

    如何快速学会AD?

    最近看完了AD视频教程,怎么感觉一点都没用呢?求教大家,如何才能快速入手AD,学会画板子?(是不是方法有问题,感觉学的很迷茫啊!)
    发表于 08-15 09:36

    舒心贴进驻《机会来了》科技库,4大黑科技你安全高效告别疼痛

    设计、方便更换,医用泡棉电极片、延长使用寿命,舒心贴在制作上完善各个细节,集万千宠爱于一身,只为使用者更好的体验。这4大黑科技,有没有你觉得很神奇呢?舒心贴针对疼痛管理带来的改变
    发表于 02-01 11:17

    如何通过使用gm/Id的方法来简化设计运放?

     一直想通过使用gm/Id的方法来简化设计运放;  但在实际设计过程中遇到较多的问题;  然后参考了一些国外的文献,发现他们好多用此方法设计OTA;如果是常规的一些opa,可能Av的估算并不是那么
    发表于 06-24 07:37

    可以通过哪些方法来改善MCU扫描附近AP时出现的故障

    有客户反应,XR系列MCU在连接进行扫描附近AP时,扫描不出所需要的AP,但第二次或者第三次就能扫描出来了。当mcu执行扫描动作时,扫描不出所需要的ap时,可以通过哪些方法来改善这种情况。
    发表于 12-29 06:00

    qmail邮件服务器加个病毒防火墙

    qmail邮件服务器加个病毒防火墙 近期邮件病毒泛滥,正好从网上看到几篇关于qmail防毒的文章,于是边做边比较了一下网上的几种方
    发表于 02-01 13:42 732次阅读

    如何通过简单的方法来增加手机的续航时间

    通过这篇文章告诉大家如何通过简单的方法来了解手机的续航时间。
    发表于 01-19 09:20 6130次阅读

    AI安防行业带来了翻天覆地的变化 视频监控是安防最重要的部分

    AI的兴起这两年的安防行业变得热闹起来,新概念和新产品层出不穷,无论是传统企业还是新兴企业,无一不在AI技术上大秀“肌肉”。AI似乎安防
    发表于 01-14 15:52 783次阅读

    AI助手输入更智能

    输入更智能:搜狗输入法发布业内首个AI助手
    的头像 发表于 08-20 11:20 3586次阅读

    西安交大毕业生机械学会写字

    机械也会写字了! 最近,西安交大毕业生杭凯宇研发出一款算法,只需提前设计好路线,机械就能写出英文单词“SCIENCE”,平均控制精度高达 0.42 ± 0.34 mm。 通过该算法
    的头像 发表于 06-15 15:31 1989次阅读

    AI算法5秒钟就能克隆你的声音

    今天,大家介绍一个算法。 AI 算法 5 秒钟,就能克隆你的声音,你信吗? 听听这段音频,猜猜看是 AI 合成音,还是真人录音? 答案是:AI
    的头像 发表于 11-17 10:05 6976次阅读

    企业很着急寻找的冲床曲轴磨损修复方法来了

    企业很着急寻找的冲床曲轴磨损修复方法来了
    发表于 05-05 16:26 0次下载

    生成AI,切蛋糕的刀还是做蛋糕的

    伴随着AIGC的突然爆火,生成AI是抢走蛋糕,还是做大蛋糕
    的头像 发表于 11-23 10:22 716次阅读
    <b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>,切蛋糕的刀还是做蛋糕的<b class='flag-5'>手</b>?

    在线研讨会 | 9 月 19 日,利用 GPU 加速生成AI 图像内容生成

    生成AI 已经展示出其在艺术、设计、影视动画、互娱、建筑等领域加速内容创作的价值,可以简化耗时任务,内容创作回归创意,并具有重塑无数行业的潜力。生成
    的头像 发表于 09-14 17:40 483次阅读
    在线研讨会 | 9 月 19 日,利用 GPU 加速<b class='flag-5'>生成</b>式 <b class='flag-5'>AI</b> 图像内容<b class='flag-5'>生成</b>

    生成AI触手可及 ——AirBox 正式开放预定

    生成AI触手可及 ——AirBox 正式开放预定
    的头像 发表于 04-26 08:34 895次阅读
    <b class='flag-5'>让</b><b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>触手可及 ——AirBox 正式开放预定