AI绘画Stable Diffusion小白入门教程(6): 这是一篇迟到的教程,早就应该和大家聊聊 LORA 的相关知识。现在,LORA 已经变得超级火爆,因为它能帮助你画出几乎精致到无……
哈喽!伙伴们,我是小智,你们的AI向导。欢迎来到每日的AI学习时间。今天,我们将一起深入AI的奇妙世界,探索“AI绘画Stable Diffusion小白入门教程(6)”,并学会本篇文章中所讲的全部知识点。还是那句话“不必远征未知,只需唤醒你的潜能!”跟着小智的步伐,我们终将学有所成,学以致用,并发现自身的更多可能性。话不多说,现在就让我们开始这场激发潜能的AI学习之旅吧。
AI绘画Stable Diffusion小白入门教程(6):
这是一篇迟到的教程,早就应该和大家聊聊 LORA 的相关知识。现在,LORA 已经变得超级火爆,因为它能帮助你画出几乎精致到无可挑剔的真人图片。
一、LORA 的应用
从训练上来说,LORA 可以看作是缩小版本的 Dreambooth,但门槛却和 TI 相仿,理论上最低 6G 显存都可以使用。那么,LORA 的具体应用是怎样的呢?我们用下面这张图来说明:
二、LORA 与 TI 的结合
我们用了一样的描述,除了基础描述之外,有一点很重要,那就是基本锁定了人物。这里用到的是:
tsuaoi
delta:tsuaoi.delta:0.8
lora:japaneseDollLikeness_v10:0.5
前两个是我们之前讲到的 TI 以及其增强版本,后面的 LORA 是一个以日本女星为训练数据的 LORA 模型。我们用这两个组合,加上不同的权重,创造出一个你看起来很眼熟,但又说不出来她是谁的虚拟人物。
三、LORA 的灵活性
把 LORA 换成台湾女生的 LORA,角色就会改变。因此,LORA 最大的好处是,它能够像 TI 一样锁定角色。下面我们来进入正题,演示一下用不同的 LORA,叠加 ControlNet,实现真人动漫 cosplay 的玩法:
四、实战操作
1. 生成二次元角色
首先,基于
2. 切换回现实模型
然后,我们要重新切换回现实模型。同时,开启前两天我们介绍的 ControlNet 模式。这里我们用深度图(depth),把描述适当调整回真人描述。
总结一下,可以控制动作的 ControlNet 和 LORA 之间紧密配合,LORA 负责锁定形象,ControlNet 负责锁定场景和动作姿态,这已经解决了画面要素的绝大部分问题。换背景?那不就是一个自动抠图加 PS 解决了吗?
基本上,从现在开始,AI 绘画上要成为创作者的一门基础技能。未来,它进入专业级别领域了。比如,文本生产动画。这不,开源 SD1.5 模型的 RunwayML,已经发布了新一代的文本生产动画模型 GEN1。而发布 SD2.X 模型的 Stability.AI,在 2.0 系列惨遭滑铁卢之后,也和另一家 AI 公司发布了文本生产动画模型。
只不过,文本生产动画是真的吃算力,暂时距离大众还很遥远,而且,这一次我们没有再迎来开源,毕竟,大公司们都知道,这才是真正的摇钱树。但是,基于 ControlNet,SD1.5 的开源社区方案同样也找到了文本 – 动画的钥匙,后面我们会继续介绍。欢迎关注我们!正如这篇一样,全是干货,我们带你关注 AI 技术最前沿。
希望这篇教程对你有所帮助。如果你有任何问题,欢迎在评论区留言讨论。
嘿,伙伴们,今天我们的AI探索之旅已经圆满结束。关于“AI绘画Stable Diffusion小白入门教程(6)”的内容已经分享给大家了。感谢你们的陪伴,希望这次旅程让你对AI能够更了解、更喜欢。谨记,精准提问是解锁AI潜能的钥匙哦!如果有小伙伴想要了解学习更多的AI知识,请关注我们的官网“AI智研社”,保证让你收获满满呦!
还没有评论呢,快来抢沙发~