Stable Diffusion+ControlNet 建筑绘图教程!

01 前言

生成式人工智能（AIGC）已经成为了多个领域的热门趋势之一。在建筑领域，AIGC正在发挥越来越重要的作用。借助人工智能的强大计算能力和算法优势，建筑师们能够更高效地生成、优化和呈现设计概念。不仅提升了设计效率，还拓展了创意边界，帮助设计师们更好地实现他们的构想。

其中，Stable Diffusion作为一种新兴的AIGC方法，在建筑效果图渲染中展现出巨大的潜力。本文将深入探讨Stable Diffusion在建筑领域中的应用，并结合ControlNet技术，精准控制建筑设计内容，输出高质量建筑效果图，为您呈现一份超细致的保姆级教程，帮助您轻松掌握这一令人激动的技术。

Stable Diffusion官网

在众多AI绘画产品中，Stable Diffusion（SD）和Midjourney可以说是两颗璀璨的明星。它们通过深度学习和图像生成技术，能够自动将文字内容或草图转化为逼真的建筑效果图。然而，在这两者之间，SD凭借其独特的可控性和渲染效果的卓越表现，成为了设计师们的首选。相较于Midjourney，SD在可控性方面表现更为出色。设计师们可以通过微调参数，精确控制每个细节的渲染效果，实现更符合设计意图的成果。这一点对于建筑设计的精准呈现至关重要，尤其是在追求特定风格或效果时，SD能够更好地满足设计师的要求。

接下来我们先用弗兰克·盖里的古根海姆博物馆草图生成一些图片，看看AI如何理解抽象的内容。

手绘草图

强控制下的效果图

平衡控制下的效果图

弱控制下的效果图

通过上面几张绘画结果的对比，我们可看到SD对于输出结果的强大可控性，同一个绘图模型通过不不同控制强度，输出的图像结果也非常不同。我们可以通过调整各项参数，来精准地控制我们想要的结果，这对于建筑设计领域来说至关重要。

接下来我将会从软件的安装，到出一张简单的建筑图，再到精准控制下的超高清效果图进行一一讲解！如果您已经安装了SD和ControlNet插件，但是不懂如何设置参数来控制出图，可跳过安装教程，从03 概念绘图章节开始学习！

02 安装教程

2.1 电脑配置要求

a.显卡（最重要！！！）：N卡（Nvidia）显存4GB以上，但是至少8GB用起来才会比较舒服，不然渲染一张512*512的小图就需要几分钟体验感很差。不推荐A卡（AMD），最低配置GTX1060，不到一分钟一张图；建议配置GTX3060（AI绘图入门甜品卡，但小心矿卡）10秒左右一张图；高配GTX3080 GTX4090，体验三秒一张图，抽奖抽到爽。

b.内存：尽量16GB及以上，因为在出图的时候我们除了开SD软件，可能同时会打开各种参考图网站，SU模型，PS修图等等，容易卡死，体验贼差。

c.cpu处理器：AI绘图主要用gpu计算，不太吃cpu，与显卡相匹配的处理器就可以。

d.硬盘储存空间：100GB以上，软件本体在20-30GB，后期还需要下载很多大的模型，每个模型一般也有2-5GB，还有各种lora模型，所以储存越大越好。

2.2 SD基础软件安装

在这里推荐大家直接安装Stable Diffusion WebUI资源整合包，

秋叶整合包软件界面

电脑配置不行的，可以使用一些SD在线绘图网站，功能几乎没有太大区别，这里推荐一个：哩布哩布AI，这个网站几乎是包含所有所得SD和ControlNet功能，还内置了非常多的模型。目前每天可以免费使用300次，大家可以用这个网站体验一下：https://www.liblibai.com/

哩布哩布AI网站界面

2.3 ControlNet插件模型下载

秋叶整合包里面内置有ControlNet的插件，但是没有相应的模型，因为模型太大，而且不是所有都用得到，需要自己单独下载，并放进相应文件夹，再重新启动SD就可以自动加载了。

在生成建筑AI绘图中，用到最多的是以下四个：canny轮廓，depth深度，mlsd和seg语义分割模型。下载网址：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

ControlNet模型描述

ControlNet模型下载

把下载的模型文件放入你安装SD的文件夹相应路径：models\ControlNet中，之后重新启动SD，在ControlNet下选择相应的模型，就可以使用啦。

2.4 模型下载

推荐模型下载网站CIVITAI：https://civitai.com/，

CIVITAI网站界面

你可以在这个网站上下载几乎多有的模型，本次教程用到的模型也全都在这里能下载到。把下载的模型（checkpoint）文件放入你安装SD的文件夹相应路径：models\Stable-diffusion，如果是Lora模型需要放在路径：models\Lora。

安装好软件、插件、模型后，接下来我们就可以开启AI绘画之旅啦。

03 概念绘图

概念绘图大纲

3.1 文生图txt2Img

使用文生图进行AI绘画，主要需要三步a.输入提示词/反向词，b.基础参数设置，c.ControlNet模型控制

a.输入提示词/反向词

首先选择Stable Diffusion模型：architectureExterior_v40Exterior，其他设置保持默认就好。

第一次使用我们我们可以直接去网上搜索别人写好的提示词，找到别人生成的效果比较好的，直接复制过来就可以。很多时候反向词都可以通用，提示词也有事一些通用效果类提示词，然后再自己输入一些自己希望可以出现的内容，需要英文，每个提示词用逗号分隔。

这里我输入的提示词：

dvArchModern, 85mm, f1.8, portrait, photo realistic, hyperrealistic, orante, super detailed, intricate, dramatic, sunlight lighting, shadows, high dynamic range, house, masterpiece,best quality,(8k, RAW photo:1.2),(( ultra realistic)), modernvilla, blackandwhite, architecture, building, cloud, vivid colour, masterpiece,best quality,super detailed,realistic,photorealistic, 8k, sharp focus, a photo of a building

反向词：

(worst quality, low quality:1.4),lowres,(Text:1.3),(logo:1.3), normal quality, cropped, blurry, drawing, painting,signature, soft, blurry, drawing, sketch, poor quality, ugly, type, word,pixelated, low resolution, saturated, high contrast, oversharpened

文生图提示词与反向词填写

b.基础参数设置

基础参数我们主要设置采样方法+步数、出图尺寸、出图张数、提示词相关性。

采样方法主要运用Euler a，DPM++ 2M SDE Karras，采样步数20-40次之间即可，合理范围内次数越高生成图像时间越长，效果越好。但是如果次数过高，画面也可能出现变形和其他诡异的效果。

出图尺寸尽量选额512512左右的小图，这里我用的640460的横向图幅，因为生成的图不一定是我们满意的，所以可以先生成小图，然后用小图在图生图放大。

出图张数根据自己需求和电脑配置，建议一次1-9张，总张数=生成批次*每批数量，这里我生成的4张，分四批每批一张。

提示词相关在3-15范围都可，默认7，这里我输入的10，数值越高，越尊重我们之前输入的提示词。越低AI生成的内容越随机。所以如果画面场景比较大的话，可以低一些，在3-7之间，这样随机性更强，画面更有趣

种子默认-1。如果有别人生成的绘画是你想要的效果，也可以直接复制它的种子。

文生图基础参数设置

这里我们没有用到ControlNet，所以画面是随机的，输出的结果如下。

文生图输出结果

c.ControlNet模型控制

接下来我们看看加入ControlNet后的效果：

我上传了一张建筑速写，然后添加了两个ContorlNet模型MLSD和Canny，记住一定要点击启用按钮，不然就不会应用，选择好模型，点击💥按钮运行，允许预览可以看到运行后的结果。

MLSD控制权重我设置的0.7，canny控制权重我设置的0.2。0-1内，数值越高控制越强。因为MLSD模型识别图片中的主要直线，控制权重可以高一些，canny是轮廓线，但是因为本身就是手绘图，希望生成的是真实的建筑效果，所以要低一些，给一个0.2就好。

所有的参数设置都不是固定的，要适情况而定，大家可以控制设置不同的数值，对比查看效果，这样对这些参数的设置会更加直观。

MLSD模型参数设置

Canny模型参数设置

通过ContorlNet的控制我们可以看到，画面的建筑空间结构和我们上传的草图基本一致。

ControlNet参考底图

ControlNet控制下的文生图效果

3.2 图生图img2Img

使用图生图进行AI绘画，主要需要四步a.输入提示词/反向词，b.上传图生图参考，c.基础参数设置，d.ControlNet模型控制

a.输入提示词/反向词

为了方便大家理解，模型选择、提示词和反向词我还是保持和刚才文生图一样的内容。

b.上传图生图参考

图生图，顾名思义就是通过一张参考图来生成一张新的图，这里我上传了一张同种类型的住宅图片。缩放模式选择拉伸。

图生图选项设置

c.基础参数设置

基础参数设置和之前文生图同理，图片尺寸选择和上传图像一样的尺寸。这里多了一个重绘幅度的选项，数值在0-1之间，0表示整幅图不重绘，1表示整幅图全部重绘，0.7就是重绘70%。

图生图基础参数设置

首先我们还是不启用ControlNet选项，重绘幅度分别选择0、0.2、0.5、0.7、0.85、1 这6个数值，看一下输出的结果。

图生图不同重绘幅度输出结果对比

可以看到AI在重绘幅度大于0.5以后逐渐放飞自我，甚至完全看不到和原图有什么关系。

接下来我们启用ControlNet试试吧！

d.ControlNet模型控制

这次我们添加了三个模型分别是MLSD、Depth、Canny。参数设置如下图，这次我们找的参考图跑出来的Depth深度图效果一般，空间感不强，其实他在很多时候至关重要，所以如果空间效果比较好的话，给一个高数值，他可以对生成的画面控制的很出色。

MLSD模型参数设置

Depth模型参数设置

Canny模型参数设置

来看一下生成的结果，跟不添加ControlNet相比，我们可以明显感觉到，建筑的整体结构始终没有改变。所以通过ControlNet的控制，我们可以对原始参考图进行图生图，生成很多张不同类型的建筑效果图，极大地提高了工作效率，再也不怕甲方一星期要三套方案，每套方案出三种类型啦！😭

ControlNet控制下图生图不同重绘幅度输出结果对比

04 精准控制绘图

精准控制绘图大纲

想要做到精准控制绘图，首先要清楚整个过程是人在控制AI，所以我们自己要先清楚画面内容，不然AI也很难按照我们的想法来。

4.1前期准备

我们以一个建筑改造为例。这是一个城市旧街道，我们要对其进行更新改造，设计成一条中式老街，沿街设置商业店铺。首先要对原始底图进行PS设计意向处理。

a.PS设计意向：

以下是我在ps中进行的操作，首先清理背景中的旧电线，接着添加青石板路地面，然后寻找一些传统老街、古镇的图片素材，将合适的立面角度直接扣下来ps在墙面，为场景增加灯笼配景、背景树木等等，最后添加一些人物增加场景感。

效果图PS设计意向操作步骤

这是最终ps后的设计效果，我们目前可以不用在意太多细节，只要整体透视没大问题就可以。

效果图PS设计意向

b.ControlNet Segment图层

接下来进行第二步，根据ps设计意向绘制segment语义分割图层（语义分割是将标签或类别与图片的每个像素进行关联的一种方法。）每一种标签分类都有对应的颜色，我们可以在网上搜索controlnet categories and color等关键词，进行查询。

Segment语义分割类别与对应颜色

下图是ps设计意向图和对应seg图层， 我主要对以下四种类别进行了绘制：road（道路），building（建筑），tree（树），person（人物）。分的越细致，画面效果越好。

PS设计意向图与Segment图

4.2小图渲染

准备好PS设计意向图和Segment图后，我们就可以打开SD，先进行小图渲染啦。

a.选择SD模型：realisticVisionV50_v50VAE

提示词：

85mm, f1.8, portrait, photo realistic, hyperrealistic, super detailed, intricate, dramatic, sunlight lighting, shadows, high dynamic range, house, masterpiece,best quality,(8k, RAW photo:1.2),(( ultra realistic)),cloud, vivid colour, masterpiece,best quality,super detailed,realistic,photorealistic, 8k, sharp focus, Chinese architecture, ancient Chinese streets, ancient Chinese towns, tourist attractions，shops, accommodation, homestays，grocery

反向词：

(worst quality, low quality:1.4),lowres,(Text:1.3),(logo:1.3), normal quality, cropped, blurry, drawing, painting,signature, soft, blurry, drawing, sketch, poor quality, ugly, type, word,pixelated, low resolution, saturated, high contrast, oversharpened

小图渲染提示词与反向词

b.上传PS设计意向图，缩放模式选择：拉伸

PS设计意向图上传

c.基础参数设置中图像尺寸选择和意向图同比例小图尺寸（在512*512px左右，电脑配置高可以稍微提高，但不建议超过1000px），重绘幅度在0.2-0.3之间都合适，如果生成的图和PS设计意向图太过接近，效果不明显，可适当提高重绘幅度。

小图渲染基础参数设置

d.ControlNet控制

打开ControlNet，分别添加Depth模型、MLSD模型和Seg模型。

小图渲染Depth模型参数设置

小图渲染MLSD模型参数设置

Seg模型由于是我们事前在PS中绘制好的， 所以预处理模型那里选择none就可以。

小图渲染Seg模型参数设置

点击生成，等待结果，不满意的话微调参数，可以多生成几张，直到满意为止。这是我生成的结果，人物有变形和脸部不完整没有关系，因为小尺寸下，人物像素过小，AI生成的效果不好，下一步高清渲染后会好很多。

小图渲染输出结果

4.3高清渲染

选择满意的小图，直接发送到图生图进行高清渲染，通过以下四类参数设置进行渲染：基本参数设置、人物修复、高清放大图像、放大辅助。

a.基本参数设置

缩放模式这里选择：直接缩放。出图尺寸依然保持小图原尺寸，重绘幅度0.2-0.3，种子使用小图的默认种子，不用修改。

高清渲染基础参数设置

b.人物修复-ADetailer

点开ADetailer选项（没有这个选项的可以直接跳过，后期通过局部修改对人物进行修复），第一步1st选择person模型，对人体进行修复，下方输入英文描述提示词；第二步2nd选择face模型，对脸部进行修复，下方输入英文描述提示词。

ADetailer人体修复

ADetailer面部修复

c.高清放大图像-Tiled Diffusion

点开Tiled Diffusion选项，打开选项：保持输入图像尺寸；Method方法选择MultiDiffusion；放大算法选择：R-ESRGAN 4x+ Anime6B；Scale Factor放大比例选择4。其他默认就好。

高清放大图像-Tiled Diffusion参数设置

d.放大辅助-分块VAE+Latent Upscale

这里点开分块VAE，选择：Enable Tiled VAE，脚本选择：Latent Upscale，方法选择：nearest-exact，调度器选择：simple。

记住一定要把ControlNet中之前的三个模型取消应用，因为他在小图渲染中已经起到控制作用了，目前高清放大渲染，不需要ControlNet。

放大辅助参数设置

点击生成，等待结果，此过程可能时间较长，请耐心等待，根据电脑配置不同，大约在5-30分钟不等。

高清渲染输出结果

可以看到整体效果还是比较好的，人物也几乎没有变形。图片分辨率大小可以达到4000px左右，单张图片大小10MB以上，放大看细节处理也很棒，效果真实，是传统的3D模型渲染难以达到的水平。（AI对文字的处理目前还是不太成熟的，可以在PS意向中尽量减少文字内容，如果特别需要可以生成大图后，在PS中把文字加上，然后局部重绘一下，强度设置在0.2-0.3之间。）

高清渲染输出结果细节展示

4.4局部修改

之前有提到秋叶的整合包没有ADetailer插件，不能在高清渲染时对人体进行修复，那么我们来看一下没有ADetailer控制的输出结果。

缺少ADetailer控制下的高清渲染

缺少ADetailer控制下的渲染细节展示

不难发现，除了人物，其他建筑、配景等效果几乎没有区别。人像会有出现手脚变形严重，脸部渲染细节不够等问题。即便是应用ADetailer对人物进行修复，有时候效果也不一定满意，所以还是会需要对一些细节进行微调，这时就可以用到SD图生图中的局部修改功能。

我们可以先吧需要修改的部分进行裁切，并上传至图生图局部重绘（手绘蒙版）部分，在图中直接将需要修改的部分涂黑，提示词记得更换至你想要生成的内容，比如：A woman in traditional dress with her back to us.

图生图局部重绘（手绘蒙版）功能

缩放模式：拉伸，选择重绘蒙版内容、填充、仅蒙版选项。

局部重绘参数设置

图片尺寸和你裁切下来的图片尺寸保持一致，如果尺寸过小，人物渲染依然不清晰，可等比放大2-4倍，重绘幅度0.5左右，效果不好适当微调。

局部重绘参数设置

下面的ADetailer、Tiled Diffusion、分块 VAE、ControlNet脚本全都不需要启用，记得取消，其他参数不知道怎么设置的保持默认就好。最后点击生成，可一次多张或多次生成，重绘效果很难一次就满意，多试几次，选择一张满意的效果，在PS中将生成局部图放进高清大图原位置上，最终完成高清绘图！

局部绘制输出结果对比

局部修改后的高清大图

以上就是Stable Diffusion+ControlNet建筑绘图的全部流程，过程中所涉及到的参数根据大家部署的SD WebUI版本不同或使用的在线绘图网站差异，会有部分功能缺失或参数翻译不同，可通过选择选项下其他参数尝试，过程中参数都不是唯一固定的，尝试理解参数背后的作用，才能让我们对功能更加了解。