老鹿学Ai绘画：ControlNet对象类控制及语义颜色对照表制作方法

今天我们要分享的内容视频版如下，视频已添加进度条及配音，想要原视频、文中对比图以及模型的可与我联系：

上一篇文章我们分享了ControlNet三维类控制，还没有看过的鹿友欢迎阅读：

01 

原计划今天分享的内容可以提前两天发布，但由于整理Segmentation（语义分割）的颜色对照表花费了一些时间。

02 

OpenPose（姿态）是鹿友们最常用的功能，顾名思义，它可以帮助我们控制对象的动作、手势等。我个人由于不常生成人物图，所以用得很少。

随着SD的更新，OpenPose新增了很多预处理器。截至2024年5月31日，共有9款预处理器：

但其实大体可以分为三类：第一类是openpose类，包括早期的openpose、full、hand、faceonly、face，以及后面新增的dw openpose full：

其中，使用dw_pose需要首先下载dw-ll_ucoco_384.onnx和yolox_l.onnx这两个预处理模型，并将它们放入ControlNet对应的openpose预处理器模型文件夹中：

虽然openpose类有5种预处理器，但从名字就可以分清它们各自控制的范围：

通过这张对比图可以看到，dw_openpose_full在手部的提取上更加精准，而openpose_full在手部细节上有所缺失：

就这个案例而言，dw_openpose_full生成的图也会比openpose_full更准确一些：

最新版的ControlNet将openpose-editor插件整合在一起，因此在骨架类openpose的预处理结果预览框中，会有一个编辑按钮：

可以手动编辑骨架或者以参数的方式微调骨架。如果你对openpose识别出来的骨架不满意，可以使用这个功能进行调整：

接下来是densepose类，对应的预处理器有densepose和densepose _parula：

使用这类预处理器需要首先下载densepose_r50_fpn_dl.torchscript到ControlNet对应的densepose预处理器模型文件夹中：

并且下载controlnetFor_v10.safetensors模型到ControlNet的模型文件夹中：

densepose和densepose_parula的区别在于，densepose生成的是紫色背景和主体，而densepose_parula生成的是黑色背景和蓝色主体：

两种预处理器对比，我感觉也无法评判好坏：

下面是两种openpose和两种densepose生成图的对比。个人感觉在这个案例中，还是dw_openpose_full更胜一筹：

但由于它是专门针对四足动物的预处理器，所以我把它单独提出来分享：

使用它需要首先下载rtmpose-m_simcc-ap10k_pt-aic-coco_210e-256x256-7a041aa1_20230206.onnx到ControlNet对应的openpose预处理器模型文件夹中：

然后再将control_sd15_animal_openpose_fp16.pth下载到对应的ControlNet模型文件夹中：

下方就是原图，预处理结果以及生成图的对比：

03 

Segmentation处理的色块图色值是有严格定义的，不同的色值代表着不同的物体：

Segmentation中有4个预处理器，其中anime_face是新增的处理动漫面部的预处理器：

要使用它，需要下载UNet.pth预处理器到对应的anime face segment预处理器文件夹中：

下面是anime face segment生成图的效果。说实话，我没用过这个预处理器，就生成效果而言，也不太确定它的应用场景：

所以，通过名字可以理解，ade20k数据集使用了of和uf算法训练了两种预处理模型，而coco只使用了of算法。

通过对比图可以看到，由于训练集的不同，语义分割的颜色色值差异比较大：

两种训练集的颜色对照表文后我也会分享给大家：

根据官方文档解释，coco是ControlNet1.1新增的，ade20k支持150种颜色，coco有182种颜色：

但我自己整理coco语义分割颜色对照表时，只找到133个对象，通过OneFormer的在线版也看到coco的对象数量是133，不知道官方文档是否有误：

因此，我推测ControlNet模型可以同时识别coco和ade20k两个数据集的颜色。换言之，当我们自己绘制色块时，可以混合使用两个对照表的颜色：

在所有ControlNet的预处理结果预览框内，都有一个photopea的编辑按钮：

需要科学上网，点击后会打开一个类似在线版的PS：

虽然在其他预处理器中也有这个功能，但在Segmentation中，我觉得用它更加实用。例如，现在想要在场景中加一个人物，可以直接拖入一张人物照片：

抠出来：

填充成色块：

再导出png：

加载到ControlNet里点击生成，这里就多了一个人物：

再接下来是三种预处理器生成效果图的对比。我个人觉得还是要根据实际需求来选择使用哪种预处理器：

04 

对于ade20k这个颜色对照表，外网有现成的，我只是做了整理和翻译：

coco的颜色对照表在外网没有找到现成的，所以花了些功夫。首先，coco的训练集是开源的，可以直接在官网下载2017年的数据集：

解压后会得到一个JSON文件，用记事本打开它：

在ChatGPT的帮助下，我知道可以从categories字段找到训练集里的所有类别：

于是，我搜索并复制这个字段后的所有内容：

把它们在新的文本文档中简单整理大概成这样：

然后再复制到Excel中初步整理成表格，现在对象的名称有了，但在官方资料中我没有找到与颜色相关的信息：

所以我的方法是用现有的预处理器模型反推颜色。我先将这些对象名称使用SD的"从文本框或文件载入提示词"的功能批量生成图片：

再用coco预处理模型将它们转换成色块图。这里我使用了ComfyUI进行批量处理并保存预处理结果图：

然后将这些色块图批量导入PS，根据表格中的名称吸取图片中对应的色块HEX色值，再复制到表格中：

例如，我在生成火车时，生成图总是火车内部的图，不便于语义分割，可能需要单独生成图并单独调整：

当所有图片的HEX色值都弄好以后，再批量复制到ChatGPT，让它帮我统一转换成RGB色值：

最后，将这些RGB数值填入表格中，再用ChatGPT告诉的方法，把表格中的RGB数值转化成填充色：

以上就是我制作coco训练集颜色对照表的方法了。当然，最后少了验证的环节，133个对象全部验证确实太花时间。各位鹿友在实际使用过程中遇到任何问题也可以告诉我。