BrushEdit：加强版BrushNet来了！实现更灵活的图像修复与编辑

为了解决当前基于反转和基于指令的图像编辑技术存在的限制而推出的BrushEdit，是一种新颖的基于修复的指令引导图像编辑范式，利用多模态大型语言模型和图像修复模型来实现自主、用户友好和交互式的自由形式指令编辑。

也就是说，BrushEdit支持用户用

进行自由形式的、多轮交互式的编辑操作，

，显著提升图像编辑的灵活性和用户体验。

来看一下官方示例的应用场景：

BrushEdit 需要在CUDA 11.8、PyTorch 2.0.1、Python 3.10.6环境下运行，以确保兼容性和稳定性。

以下是具体的安装和配置步骤：

git clone https://github.com/TencentARC/BrushEdit.git

使用conda创建虚拟环境，并安装指定版本的Python

conda create -n brushedit python=3.10.6 -y

conda activate brushedit

python -m pip install --upgrade pip

根据PyTorch官方指南安装CUDA 11.8版本的PyTorch

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118

进入BrushEdit目录并安装所需的依赖

cd BrushEdit

pip install -r requirements.txt

sh app/down_load_brushedit.sh

这个脚本将自动下载所需的预训练模型文件到本地目录。

Checkpoint包含的内容： 

BrushEdit 提供了五种基础扩散模型，每种模型都有其独特的特点和应用场景：

这是一个多功能模型，能够生成令人印象深刻的人像和风景图像。它的通用性使其成为多种图像生成任务的理想选择。

这是一个现实风格的模型，特别擅长生成人像。如果你需要生成逼真的人像图片，这个模型将是一个不错的选择。

这个模型专门用于生成逼真的女性图像。它在处理女性肖像方面表现出色，能够提供高质量的图像输出。

这个模型擅长生成动画风格的图像。如果你需要制作卡通或动画风格的图片，Meinamix_meinaV11将能够满足你的需求。

这是一个高度泛化的现实风格模型，能够处理各种图像生成任务，特别是在生成逼真图像方面表现出色。