广告
了解详情
ControlNet重绘类控制（上）：Inpaint（对象移除、局部重绘、扩图）
成都/设计爱好者/1年前/1017浏览
版权
ControlNet重绘类控制（上）：Inpaint（对象移除、局部重绘、扩图）
今天我们要分享的内容视频版如下，视频已添加进度条及配音，想要学习资料的鹿友可以后台
联系我
获取：
以下是图文版内容：
正文共：2889字 37图
预计阅读时间：6分钟
01
前言
最近有点忙，所以更新的间隔又长了一些，我会尽量加快速度，尽快把ControlNet的所有内容更新完毕。
前面两篇文章我们已经分享了ControlNet风格迁移类控制的内容，还没阅读的鹿友建议回顾一下：
接下来我们要分享的是ControlNet的重绘类控制功能。
ControlNet的重绘类控制包括Inpaint（局部重绘）、Tile（分块）、Recolor（重上色）以及InstructP2P（指令图生图）。
相比风格迁移类控制，这四种控制更偏向重绘，因此我将它们归为重绘类控制。
由于Inpaint（局部重绘）的内容较多，今天我们先分享重绘类控制中的Inpaint吧。
02
文生图Inpaint
在ControlNet中也有一个Inpaint局部重绘的控制，它在文生图和图生图中都可以使用，并且还可以进行扩图操作。
我们先在文生图中演示一下操作吧，例如我现在希望将照片中远处的人物涂抹掉：
在ControlNet中上传该图片，勾选完美像素，选择局部重绘这个控制类型，不要忘记点击一下将图片尺寸发送到生成设置：
由于上传ControlNet的图片显示很小，直接进行涂抹操作会不太方便，鼠标停留在左上角图片两个字那里会有画布画笔操作的快捷键提示：
因此我们可以点击S键，放大图片来进行涂抹：
提示词中我们可以不用填写：
在Inpaint中一共有三种预处理器：
从预处理结果中only和global似乎看不出区别。
而lama算法在预处理结果中就已经将人物消除了。因此作者也提到了lama算法更适合对象的移除：
从生成的结果看，lama对比only在消除方面的痕迹也要少一些。
而global_harmonious如同它的名字一样，是一种全局融合的算法，因此导致涂抹以外的区域也发生了一些变化，并且整体画面的颜色也发生了改变：
消除类的重绘我们对比完了，这次我们再试试生成类的重绘，把衣服涂抹上：
提示词中我输入咖啡色的衣服，背对镜头：
从生成结果可以看到，除了global以外，其他两种都挺好：
大家都知道在图生图的局部重绘中有一个上传重绘蒙版的功能：
在ControlNet中也有这个功能：
但经过测试，首先蒙版需要与局部重绘中的上传蒙版相反，重绘部分需要是黑色，并且似乎仅对global有效，有点鸡肋：
03
图生图局部重绘Inpaint
接下来我们再看看与图生图局部重绘的对比。还是先看消除对象类，在局部重绘中，同样先涂抹需要移除的部分：
提示词同样留空：
重绘幅度调整到1：
可以看到默认情况下，它生成了一些其他的内容，效果并不理想：
这是由于在图生图的局部重绘中，如果我们要将对象进行移除，最好是将大模型切换为inpainting重绘模型。
通常我们在下载大模型的时候，模型作者都会同时发布该版本的inpainting重绘模型：
当我将大模型切换成重绘模型之后，效果就好多了：
而当我们在图生图的局部重绘中使用ControlNet时，只需激活ControlNet并选择局部重绘控制，无需重新上传图片和涂抹一次：
在保持其他参数默认的情况下，我分别用大模型realisticVisionV51及其对应的重绘模型生成了对比图。
相比之下，个人感觉如果是移除对象，在图生图的局部重绘中，反而不使用ControlNet效果更好：
接下来我们再看看生成类的效果。通过对比图可以看出，在不开启ControlNet的情况下，使用图生图局部重绘，并将大模型切换为重绘模型，效果更佳：
而开启ControlNet后，生成效果反而不如不开启时理想。
因此，个人建议局部重绘时，可以选择在文生图中使用ControlNet局部重绘，或在图生图中进行局部重绘时不启用ControlNet。
但请不要忘记在图生图中使用局部重绘，要将大模型切换为对于的重绘模型：
04
图生图上传重绘蒙版Inpaint
另外，前面提到的在ControlNet局部重绘中上传蒙版仅针对global有效的问题，似乎在图生图的上传重绘蒙版中得到了改善：
下方首先是在不开启ControlNet的情况下，使用图生图上传重绘蒙版的两种大模型对比图，可以看到，还是重绘模型的效果好：
然后是开启ControlNet后的对比图，可以看出，在图生图上传重绘蒙版中，除了使用重绘模型作为大模型的情况外，其他效果都还不错。
因此建议，如果你要使用图生图中的ControlNet局部重绘功能，大模型则不要使用重绘模型，反之则需要：
05
扩图Outpaint
最后我们来说说扩图。当我们想进行扩图时，首先可以使用图生图的提示词反推功能，这里因为我主要想扩充环境，因此推荐使用DeepBooru反推算法：
筛选后将结果复制到文生图的提词框中，负向提示词可随意加入一个负向Embedding模型，或者输入你们常用的负向提词：
ControlNet中还是上传这张图同样发送图片尺寸到生成设置：
我的原图尺寸是768*1016，这里我改为1280*1016：
缩放模式这里一定要选择缩放后填充空白：
然后再来看看三款预处理器的生成效果吧，除了global以外，其余两个都还不错，但总觉得效果还差点意思：
其实我们这里还可以尝试修改一下ControlNet的控制模式：
下面我把三种控制模式的XYZ对比图也添加了进来，可以看到，global预处理器始终会对主体人物进行改变。
在这个案例下，个人感觉，在“ControlNet更重要”的控制模式下，lama预处理器的效果是最好的：
好了，以上就是今天要分享的所有内容了。
更文不易，如果觉得对自己有帮助，请不要吝啬自己的一键三连，你们的支持对我很重要，谢谢！
14
举报
声明
14
分享
评论你的想法~
表情
喜欢TA的作品吗？喜欢就快来夸夸TA吧！
推荐素材
登录注册
14登录即可同步推荐记录哦
14登录即可加入我的收藏
评论登录即可评论想法
分享分享