ControlNet风格迁移类控制（下）：Instant-ID|Revision|Reference|Shuffle

今天我们要分享的内容视频版如下，视频已添加进度条及配音，想要学习资料的鹿友后台

获取：

01 

上篇文章我们分享了ControlNet风格迁移类控制IP-Adapter，还没有阅读过的鹿友墙裂建议去学习一下：

今天我们会分享这些内容，其中有些是较早期的预处理器。

02 

Instant-ID是由小红书参与开发的一款主要针对面部特征进行迁移的预处理器，有点类似我们上篇文章分享的IP-Adapter中的FaceID和PulID：

安装Instant-ID同样需要InsightFace。如果你已经安装过FaceID或者PulID则可忽略，没有安装过的鹿友需要首先复制InsightFace

：

粘贴到如图所示路径：

再复制这个叫models

：

粘贴到ControlNet的模型文件夹里：

由于它目前只支持SDXL，因此我们需要先将大模型切换成SDXL模型：

由于是基于SDXL训练的模型，因此建议宽和高至少有一项大于1024：

使用Instant-ID时，建议将CFG值调整到1-3之间，否则会出现过拟合的情况：

接下来是ControlNet中的设置。前面提到它需要结合两个预处理器使用。

预处理器选择instant_id_face_keypoints，对应的模型是control_instant_id_sdxl：

可以看到，面部特征还原的效果还是不错的：

细心的鹿友应该能总结出一些规律。

但白色头发等特征仍能体现出来：

而单元1中，由于用于控制面部构图的表情是笑，因此生成图中也是相同的表情。所以，大家可以通过上传不同的表情图来进行控制：

下方是Instant-ID和IP-Adapter各类面部迁移预处理器的对比。个人感觉从面部特征来看，Instant-ID要优于IP-Adapter：

在Instant-ID中，除了有我们熟悉的控制模式外，它还提供了权重类型的选项。

这是一个官方已知的Bug，因此，大家在使用Instant-ID时，请避免将宽高比设置为1024*1024：

03 

Revision是ControlNet 1.1.400版本中官方新增的一个预处理器，仅针对SDXL使用。

两款预处理器的区别在于一个是在原提示词上进行补充，另外一个则是忽略原有提示词：

当我直接上传一张图，不输入任何提示词的情况下，它已经能读取到参考图的部分元素：

例如，我这里提示词中填写的是一个男孩，红色头发，戴着墨镜，生成图似乎就和参考图没有太大关系了：

需要将ControlNet的权重给得很高，才能体现参考图的元素：

而当我们将预处理器选择为忽略原有提示词，生成的图就和没有提示词时选择的第一款预处理器效果一样：

例如，当我关闭ControlNet时，生成的图是这样的：

噪声增强默认为0，而当我将它改为1时，可以看到生成图同样和参考图没有太大关系。

04 

它迁移风格的原理大致可以理解为固定参考图的部分特征，并在此基础上进行扩散。

这三款预处理器官方说明是由两套算法实现的：

我这里就继续以SDXL版本进行演示吧。提示词中我简单输入一个男孩，生成的图是这样的：

当我开启ControlNet，默认参数情况下，生成的图读取了参考图背景的一些信息：

默认参数为0.5，数值越大，生成的图越接近参考图的风格：

当风格保真度数值为1时，生成的图和控制模式中的 "ControlNet更重要" 是相同的：

同样当风格保真度参数为0的时候，生成的图是这样的：

它和控制模式为"提示词更重要"时生成的图也是一样的，因此可以看出，风格保真度这个参数实际上是控制模式的替代品，并且可控性更高：

下面是风格保真度数值为1时，三种预处理器的对比。个人感觉还是reference_only的效果要好一些：

这里再额外多说一句，通过测试我们可以看到Reference固定的更多是参考图的背景信息：

而Revision似乎更偏向于获取参考图的主体信息：

基于这个想法，我们可以把Reference和Revision结合使用，就能获得一个更加接近于参考图的结果：

05 

Shuffle是ControlNet最早期用于风格迁移的预处理器，仅针对SD1.5使用，通过模型名称中的“e”可以知道，它是一个实验性的预处理器：

通过预处理结果可以看到，Shuffle是通过打散参考图的颜色来获取信息，从而进行扩散生成图像：

生成的图像稳定性差，不易控制。随着越来越多的风格迁移预处理器的出现，Shuffle基本可以弃用了，大家仅作了解即可：

好了，以上就是今天要分享的所有内容了。