Решён
ControlNet для Stable Diffusion - как установить и настроить?

Иван Черкасов • Нейронные сети •
3.3k
6

Поставил Stable Diffusion через AUTOMATIC1111, все работает, генерит картинки. Хочу прикрутить ControlNet чтобы управлять позами и композицией. Скачал расширение через вкладку Extensions, перезапустил WebUI, вкладка ControlNet появилась.

Но дальше затык. Какие модели скачивать? На Hugging Face их там штук 20 разных (canny, depth, openpose, scribble...). Все качать или хватит парочки для начала?

И главное, они весят по 1.5 гб каждая. У меня RTX 3060 12gb. Потянет ли несколько моделей одновременно или память забьет?

SD версия 1.5, если это важно.

UPDATE: Скачал openpose и canny, обе работают. Спасибо всем! С мультиконтролнетом пока не экспериментировал, 12 гигов хватает впритык на одну модель за раз.
AUTOMATIC1111ControlNetRTX 3060Stable DiffusionГенерация изображенийНейросети

6 ответов

Лучшие Новые Старые
Решение
47
Эксперт • 5 ответов

Для старта хватит двух моделей:

  1. control_v11p_sd15_openpose - управление позами персонажей. Загружаешь фото человека, ControlNet вытаскивает скелет и генерит новую картинку в той же позе.
  2. control_v11p_sd15_canny - контроль контуров. Рисуешь грубый набросок или берешь фото, он повторяет очертания.

Этих двух покрывают 80% задач. Depth (карта глубины) тоже полезная, но можно докачать потом.

Скачанные модели кидаешь в extensions/sd-webui-controlnet/models/. После рестарта они появятся в выпадающем списке на вкладке ControlNet.

По памяти: модели грузятся в VRAM только когда активируешь ControlNet на вкладке. Одна модель за раз на 3060 12gb проблем не вызовет. Две одновременно (Multi-ControlNet) тоже потянет если не генерить в разрешении выше 768x768. Три уже может упасть с OOM.

Аватар Ирина Валерьевна Иванова
Ирина Валерьевна Иванова

Встроен. При первом использовании он сам скачает нужный препроцессор, надо подождать минуту. В консоли увидишь загрузку.

Аватар Иван Черкасов
Иван Черкасов Автор

Четко, спасибо. Качаю openpose и canny. А preprocessor в самом расширении уже встроен или тоже отдельно ставить?

19
Участник • 1 ответ

Все модели скачивать не надо, половина из них экспериментальные и толком не работают. Вот ссылка на оф репу с моделями v1.1, бери только те что с пометкой "recommended":

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

22
Эксперт • 4 ответа

Кстати если у тебя SDXL планируется в будущем, учти что модели ControlNet для SD 1.5 и SDXL РАЗНЫЕ. Те что ты сейчас скачаешь для 1.5, на SDXL не заведутся. Придется качать отдельный набор. Просто чтоб потом не удивляться.

8
Участник • 2 ответа

Забей на AUTOMATIC1111, переходи на ComfyUI. Там ControlNet через ноды подключается, гораздо гибче и нагляднее. Можно выстроить пайплайн из нескольких контролнетов с разными весами на каждом шаге сэмплинга. В A1111 ты такое через интерфейс не провернешь.

Да, порог входа выше. Но если ты уже шаришь в SD на уровне расширений, за вечер разберешься. На ютубе полно гайдов.

0
Эксперт • 5 ответов

Вместо всего этого зоопарка просто юзайте Midjourney. Серьезно. Платишь 10 баксов в месяц, никаких моделей качать не надо, никаких расширений, никаких OOM ошибок. Результат лучше чем у SD из коробки.

Локальная генерация это для тех кому нравится страдать с настройками вместо того чтобы рисовать.

1
Участник • 2 ответа

чуваки а кто нибудь пробовал ip adapter вместе с controlnet? у меня при включении обоих вебуи падает с ошибкой cuda out of memory, хотя по отдельности работают нормально. тоже 3060 12гб

Написать ответ

Визуальный редактор (WYSIWYG)
Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Или войдите в систему
Будьте вежливы и соблюдайте правила платформы.