老鹿学Ai绘画：ControlNet三维类控制

今天我们要分享的内容视频版如下，

，

的鹿友可以

获取：

上一篇文章我们分享了ControlNet线条类控制，还没有看过的鹿友欢迎阅读：

01 

三维类控制包括Depth (深度)和NormalMap (法线贴图)，这两种控制在三维软件中比较常见，所以我把它们归类为三维类。

02 

Depth (深度)也是一样，可以将图片提取成一张用黑白灰表示的深度图，用于表达图片常见中的远近关系，其中白色代表近景，黑色代表远景：

在Stable Diffusion中，如果你希望生成与原图构图类似，但是内容不同的图通常可以选择Depth控制类型：

在Depth中一共有六个预处理器，分别是Midas、Zoe、Leres、Leres++、Anything和Hand_Refiner：

Anything会有它专门的模型，需要下载下来放置到ControlNet的模型文件夹里：

同时它还有自己的预处理器，通常情况下你点击爆炸图标它会在后台自动下载：

但如果你是因为网络问题下载失败的话就会麻烦一点，因为通过控制台可以看到，在下载模型之前，后台还进行了一些环境部署：

文后我会把相关文件以及手动安装方法分享给大家：

需要先将facebookresearch压缩包解压如图所示的指定路径中，如果cache文件夹里没有torch和hub文件夹，新建即可：

然后把dinov2_vitl14_pretrain存放如图所示的路径里，同样如果没有checkpoints文件夹新建即可：

再将depth_anything_vitl14模型文件存放到ControlNet对应的预处理器文件夹中：

最后再将control_sd15_depth_anything模型存放到ControlNet对应模型文件夹中：

分享给大家的文档里，也写了具体的安装步骤供大家参考：

在Leres和Leres++这两种预处理器中会有两个特有参数，移除近景和移除远景：

作用如同字面意思，就是对远景和近景的修剪，下面是远近各自修剪百分之50之后的对比图：

下面是五种预处理器的对比，可以看到Midas和Zoe忽略了一部分背景的细节，但是前景比较清楚。

Leres和Leres++背景细节最多，但是相对的，前景就会有点模糊。

新的预处理器Anything在处理远近的细节上跟接近Midas和Zoe，但是近景更加清晰锐利：

因此建议多数时候，我们还是用默认的depth模型吧：

最后我们再来说这个新增的Hand_Refiner预处理器，要使用它首先需要将hrnetv2和gaphormer这两个文件放到ControlNet对应的预处理器文件夹中：

然后再将control_sd15_inpaint_depth_hand_fp16存放到ControlNet对应模型文件夹中：

这里我先用sd生成了一张两只手都有问题的女孩图像：

将它发送到图生图局部重绘里，并用画笔涂抹有问题的手部区域：

然后在ControlNet中Depth控制类型中选择Hand_Refiner预处理器以及对应的适配模型，点击爆炸图标可以看到能够提取出一张正确的手部深度图：

点击生成手部的问题就被修复了：

03 

相信许多鹿友应该都是我以前写C4D内容的时候关注野鹿志的，所以对法线贴图这个概念并不陌生。

三维软件中我们通常是在制作材质的时候会用到法线贴图，而在Stable Diffusion中，这项NormalMap控制类型和Depth使用场景类似，主要是通过光影来还原画面的布局：

在NormalMap中一共有三个预处理器，分别是Bae、Midas和Dsine：

其中Midas是以前ControlNet1.0的算法，官方表示已经弃用，大家仅做了解：

在这个算法中有一个Normal Background Threshold的选项，默认数值0.4，数值范围是0-1：

它的作用主要就是移除远景的信息，数值越大，远景的信息越少：

要使用它需要将预处理器模型dsine.pt存放到对应的ControlNet预处理器文件夹中：

同时要将ControlNet模型放到对应的模型文件夹中：

而且说实话，我个人并不觉得在这个例子上，SDXL控制会比1.5模型好：

Dsine中会有Fov和Iterations两个参数，同样我在网上暂时没有找到相关说明，只能说下自己的理解：

Fov是视场角的意思，数值默认为60，数值范围0-360，我觉得这里的单位应该是度。

从下图我们可以看到，当数值为0和数值为360的时候，法线贴图完全相同，这就是由于360度和0度的位置是一样的：

Iterations是迭代的意思，默认数值为5，参数范围1-20，这个参数我只能从三维软件的使用经验来推测它的用途。

从下图的对比中我们可以看到，法线贴图的区别并不是很大：

接下来是三种预处理器在默认参数情况下生成法线贴图的对比图，Dsine算法会比Bae更加清晰，而Midas算法和我们常见的法线贴图差异较大：

最后则是三款预处理器生成图的对比，Midas基本可以弃用了，Dsine生成的图也Bae清晰，但是反而少了景深的效果。

说实话，我从来就没有用过NormalMap这个控制类型：

好了以上就是ControlNet三维类控制的所有内容。