老鹿学Ai绘画|ControlNet风格迁移类控制（上）：IP-Adapter

今天我们要分享的内容视频版如下，视频已添加进度条及配音，想要学习资料的鹿友可以后台

获取：

最近有点忙，更新的间隔时间长了点。

上一篇文章我们分享了ControlNet对象类控制及语义颜色对照表制作方法，还没有看过的鹿友欢迎阅读：

01 

今天我们要分享的内容是ControlNet风格迁移类控制，包括：IP-Adapter、Instant-ID、Shuffle、Revision、Reference：

我的原计划是每篇文章分享一类ControlNet的控制类型，但由于IP-Adapter控制类型内容比较多。

02 

IP-Adapter翻译成中文是Image Prompt Adapter（图像提示适配器），它是由腾讯开发的，并被ControlNet的作者移植到了ControlNet里：

你可以简单理解为垫图，就像在生成图像过程中额外加了一个 LoRA。

03 

根据你选择的大模型版本不同，ControlNet模型栏会自动显示该SD模型版本下可用的IP-Adapter模型：

预处理器有6个，通过预处理器的名称后缀可以看出，虽然IP-Adapter的模型有很多，但大体分为三类：Clip、FaceID以及新增的PulID：

通过模型的名称后缀也可以看出该模型的对应类别，比如除了名称中有faceid和pulid的模型，其他模型均属于clip类：

不同的模型需要对应不同的预处理器，其中有4个模型还需要搭配相应的LoRA模型，因此在使用过程中很容易出错：

正因如此，新版本的IP-Adapter新增了一个ip-adapter-auto预处理器：

我们日常使用IP-Adapter时，只需将预处理器默认选择为ip-adapter-auto，然后选择需要使用的模型并点击爆炸图标即可：

通过控制台可以看到，系统会根据我们选择的模型自动切换到对应的预处理器，避免因手动选择的模型和预处理器不匹配导致出错的情况：

当然，如果你想进一步了解具体每个模型对应的预处理器，我制作了一张表格供大家参考。文后也会分享这张表格给大家：

04 

其他的都是对参考图整体风格进行迁移的模型。composition是社区开发者开发的模型，也是用于整体风格迁移的：

安装所需的文件我已经准备好了。大家可以首先复制这个叫clip_vision的

粘贴到如图所示的路径里：

再复制这个叫models

粘贴到ControlNet的模型文件夹里：

让我们来看看它们的区别吧。例如，我这里上传一张之前用SD生成的图片：

通过对比图可以看到：

轻量模型，红色头发和墨镜都出现了，人物的服装也发生了一些改变，男孩也能一定程度体现出来。

这个模型的ip-adapter强度最轻，受提示词影响最强。

基础模型，红色头发和墨镜基本能体现出来，服装也基本延续了参考图。

属于强度适中。

 基础模型加强版，墨镜没有体现出来，整体画面偏黑白。

属于强度最强的一款模型。

使用大参数的CLIP-ViT-bigG训练的基础模型。

强度和ip-adapter_sd15_plus差不多，但画面更细腻一些。

这个社区模型如其名字所示，只是迁移了构图，人物也全都变成了男孩。

以下是ControlNet权重0.8，CFG值4时的对比图：

SDXL的基础模型，效果没有SD1.5明显，似乎识别到了红色头发和墨镜。

 总体还算强度适中。

SDXL的加强版模型，由于降低了ControlNet权重，所以红色头发略微体现出来，IPA强度最强。

使用大参数的CLIP-ViT-bigG训练的基础模型，相比小参数的ip-adapter_sdxl_vit-h基础模型而言，受到提示词的影响更敏感，红色头发和墨镜甚至1boy都体现出来了。

社区模型，只迁移构图。

Clip类针对SD1.5还有2个迁移面部特征的模型，使用它们时，我们尽量选择面部占比比较大的参考图进行上传。

所以这里还是上传了一张名人的照片：小罗伯特·唐尼：

通过对比图可以看到：

会具备参考图的面部特征，但效果不太好，对提示词不敏感。

同样具备面部特征，效果同样不太好，甚至服装也会迁移参考图。

Clip类针对SDXL迁移面部特征的模型只有1个，通过对比图可以看到：

能迁移面部特征，依然不太好，但能够展现部分提示词的内容。

05 

FaceID类主要是针对面部迁移，SD1.5加上SDXL总共有6个模型，其中有4个模型还有对应的LoRA模型。安装首先需要复制insightface

粘贴到如图所示路径：

再复制这个叫models

粘贴到ControlNet的模型文件夹里：

最后再复制LoRA文件夹里的模型：

粘贴到我们平常存放SD的LoRA文件夹里：

另外，ip-adapter_face_id_plus需要额外下载一个clip_h.pth到如图所示的文件夹中。如果你已经安装过clip类ip-adapter，则可忽略：

使用时不用像Clip类的Face迁移模型一样，专门找面部占比较大的参考图。例如我这里就直接上传的是前面用过的一张图：

支持SD1.5的FaceID模型有三个。

下方是添加LoRA前后的对比图，这个模型强度适中，可以通过提示词控制对象的饰品，发色甚至面部表情：

Plus版模型似乎画面要比基础模型细腻点，并且明显强度要高于基础模型，以至于黑白照片的颜色也迁移了过去，至于哪个更好大家自己评判吧：

下方是三个模型的对比图，当中的参数已经备注出来了，大家可以根据实际使用中的需求进行选择：

针对SDXL的FaceID模型同样也有三个，和SD1.5模型类似，我就不再赘述了。

在不添加提示词的情况下，SDXL生成的图年龄上比SD1.5更准确一些，以下是ip-adapter-faceid_sdxl添加LoRA前后的对比图：

当你在使用ip-adapter-faceid-plusv2_sdxl和ip-adapter-faceid-portrait_sdxl模型出现过拟合的情况，可以尝试将CFG值降低：

最后是SDXL的三款模型对比：

06 

PuLID是新增的一款面部迁移类处理器，它的安装相对比较麻烦，我也是尝试了好久才弄好，需要首先安装evaclip扩展：

然后复制models

粘贴如图所示位置，注意看路径，不要弄错了：

然后再复制这个模型文件：

粘贴到ControlNet的模型文件夹里：

最后，PulID同样需要insightface。如果你已经安装过FaceID就可以忽略。如果没有安装，请将insightface文件夹复制到如图所示路径：

安装完毕后，上传一张图，选择PulID模型，点击爆炸图标。当你看到如图所示的效果时，就表示安装成功了：

在PulID中会有两个模式，逼真度和极度风格化：

但可以看出PulID对于面部的还原会更加高于FaceID，但是面部的表情控制会比较弱：

07 

你可以上传多张不同风格的图进行迁移，也可以上传多张人物图进行面部迁移，例如，我上传了5张小罗伯特·唐尼的图像：

下面是SD1.5各种面部迁移模型的单张参考图和多张参考图的生成效果对比。

下面是SDXL的对比图：

另外，细心的鹿友肯定会发现一个问题，在IP-Adapter控制下，没有我们常见的均衡模式、提示词更重要和ControlNet更重要这三个选项：

取而代之的是权重类型这个参数，它的可控性更高。可以看到有非常多的预设类型：

选择之后，下方会以柱状图的方式展示权重。你可以直接选择预设的类型，也可以手动填写数值，灵活性非常高：

缓和类包括：normal线性、ease in缓入、ease out缓出、ease in-out缓入缓出和reverse in-out反向缓入缓出。

因此，normal线性、ease in缓入和ease out缓出分别对应的是平衡模式、ControlNet更重要和提示词更重要:

以下是缓和类预设的对比。前面提到当遇到面部崩坏时，可以适当降低 ControlNet 权重，但权重过低会导致面部迁移效果不好。这时我们就可以借助这些预设：

第二类是弱类，包括 weak input 弱输入、weak output 弱输出、weak middle 弱中间、strong middle 强中间。

下面是弱类预设的对比：

第三类是风格迁移，包括：style transfer 风格迁移、composition 构图、strong style transfer 强风格迁移、style and composition 风格迁移和构图、strong style and composition 强风格迁移和构图。

这个功能刚推出不久，我也没用过，大家看看对比图，多多尝试吧：

好了，以上就是今天要分享的所有内容了，IP-Adapter内容确实很多。