使用diffusers实现ControlNet inpaint

作者：maverick_z发布时间：2023-09-28

在Automatic1111的stable-diffusion-webui中，我们可以通过img2img中的inpaint功能，结合ControlNet插件，实现ControlNet控制的图像重绘。...【查看原文】

相关资讯

使用 Diffusers 实现 ControlNet 高速推理

自从 Stable Diffusion 风靡全球以来，人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法，能够允许用户在很大程度上自定义生成过程。通过 ControlNet，用户可以轻松地使用多种空间语义条件信息 (例如深度图、分割图、涂鸦图、关键点等) 来控制生成过程。具体来说，我们可以:将卡通绘图转化为逼真的照片，同时保持极佳的布局连贯性。写实版的 Lofi Girl (上: 原图，下: 新图)进行室内设计。将涂鸦草图变成艺术作品。甚至拟人化著名的 logo

Stable Diffusion 艺术

HuggingFace 2023-03-07

使用 diffusers 训练你自己的 ControlNet

简介ControlNet 这个神经网络模型使得用户可以通过施加额外条件，细粒度地控制扩散模型的生成过程。这一技术最初由 Adding Conditional Control to Text-to-Image Diffusion Models 这篇论文提出，并很快地风靡了扩散模型的开源社区。作者开源了 8 个不同的模型，使得用户可以用 8 种条件去控制 Stable Diffusion 模型（包括版本 1 到 5 ）。这 8 种条件包括姿态估计、深度图、边缘图、素描图等等。ControlNet 博文链接:

Stable Diffusion

HuggingFace 2023-04-04

Ai绘画换头术：ControlNet插件inpaint局部重绘的使用教程

前不久我们讲了Stable Diffusion自带的局部重绘功能，可以实现一键换衣服（教程移步：Stable Diffusion局部绘图的用法，可以实现一键换衣服）这次我们讲的是局部重绘功能结合ControlNet插件inpaint局部重绘模型control_v11p_sd15_inpaint.pth来实现更好的局部重绘效果！此模型可以完美的处理好接缝处的衔接问题，做到毫无违和感。下面我们开始讲解。首先，先把局部重绘模型control_v11p_sd15_inpaint.pth存放到\novelai-we

AI绘画 Stable Diffusion

好奇漫步 2023-05-31

Controlnet+Inpaint让AI模特穿上你家的衣服

欢迎来到觉悟之坡AI绘画教学系列之第30篇。自从上次发布了AI模特文章，就引起了很多小伙伴的关注，有求详细教程的，有联系合作的。很高兴有很多人在持续关注着，也欢迎各路大神，小伙伴们一起来交流探讨，共同完善和提高。今天继续发布第二篇AI模特系列，希望抛砖引玉，和大家一起继续探讨和提高。上次的AI模特教程，是直接使用inpaint功能，来给模特换脸。这次，我们来讲一下openpose+inpaint（局部重绘）功能，来给模特换脸和穿衣服。一. 半身1.首先，假设我们有一个假人穿上我们家卖的t-shirt图。（

AI绘画

觉悟之坡 2023-04-18

【Stable Diffusion教程】 16 Controlnet预处理器合集5（Inpaint、Recolor）

Part 1 Inpaint的原理和实操【基础介绍】InPaint是一项图片修复技术，可以从图片上去除不必要的物体，让我们轻松摆脱照片上的水印、污渍、划痕、标志等瑕疵。一般来讲，图片的Inpaint过程可以理解为两步：1.找到图片中需要重绘的部分，比如上述提到的水印、污渍、划痕、标志等；2.去掉水印、污渍、划痕、标志等，自动填充图片上应该有的内容。【实操部分】SD Inpaint操作打开SD选择图生图点击Inpaint Sketch上传图片遮罩不想要的部分调整图片尺寸点击生成【引导图】CN I

Stable Diffusion

麦克多娜AI 2023-11-14

近期资讯

数字指标，是工作中最容易陷入的陷阱之一

在职场中，数字指标常常被误认为等同于工作成果，但这种认知可能会误导我们远离真正的目标。本文深入探讨了数字指标在工作中的角色和局限性，揭示了为何数字指标并不总是等同于结果，并提供了如何正确理解和运用数字指标以实现工作目标的见解。

鹏鹏的工作日记 2024-12-30

大模型与知识库更新题库的实践应用

在当今数字化教育与培训蓬勃发展的时代，保持题库和试卷库的时效性、准确性与丰富度，对于建工类考试培训产品的竞争力至关重要。本文分享的方法，希望可以帮到大家。

luffy 2024-12-30

大模型技术在教务教研领域的应用实践

大模型技术已经在各行业都得到了广泛的应用，也有不错的表现。本文就分享了大模型在教育领域中，教务、教研领域的实践案例，供大家参考学习。

luffy 2024-12-30

行业出清大幕拉开，连锁药店们站在十字路口，缓慢扩张守望政策落地丨2024·大复盘

钛媒体APP 2024-12-30

畅享最强产品！华为畅享 70X 官宣：这两项旗舰配置成新品标配

IT之家 2024-12-30

你会做复盘吗？小红书投放高效复盘指南

复盘，作为一种重要的策略性回顾，对于优化小红书等社交平台的投放效果至关重要。本文将为您提供一份详尽的小红书投放复盘指南，从投放回顾、内容分析到平台及赛道洞察，每一步都旨在帮助您提炼经验、识别不足，并为接下来的营销活动指明方向。

Vic的营销思考 2024-12-30

数据分析误区系列（五）：因果陷阱

做数据分析时，如果提前知道一些常见的误区，能提高我们不少工作效率。本文分享的因果陷阱这种概念，能帮大家避免此类误区。

佑佑和博博~ 2024-12-30

美团在全国主要城市上线骑手“防疲劳”机制：跑单12小时强制下线

IT之家 2024-12-30

即时零售：2025年10大趋势预测

从增长放缓到行业兼并，从配送提速到平台增多，再到AI赋能和增强互动，每一个趋势都预示着即时零售未来的发展方向。本文将为你揭晓2025年即时零售行业的十大发展趋势，供大家参考。

即时刘说 2024-12-30

何小鹏：要坚信 AI 时代的到来

IT之家 2024-12-30

使用diffusers实现ControlNet inpaint

推荐体验

相关资讯

使用 Diffusers 实现 ControlNet 高速推理

使用 diffusers 训练你自己的 ControlNet

Ai绘画换头术：ControlNet插件inpaint局部重绘的使用教程

Controlnet+Inpaint让AI模特穿上你家的衣服

【Stable Diffusion教程】 16 Controlnet预处理器合集5（Inpaint、Recolor）

近期资讯

数字指标，是工作中最容易陷入的陷阱之一

大模型与知识库更新题库的实践应用

大模型技术在教务教研领域的应用实践

行业出清大幕拉开，连锁药店们站在十字路口，缓慢扩张守望政策落地丨2024·大复盘

畅享最强产品！华为畅享 70X 官宣：这两项旗舰配置成新品标配

你会做复盘吗？小红书投放高效复盘指南

数据分析误区系列（五）：因果陷阱

美团在全国主要城市上线骑手“防疲劳”机制：跑单12小时强制下线

即时零售：2025年10大趋势预测

何小鹏：要坚信 AI 时代的到来

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响