Вийшла ШІ-модель Stable Diffusion 3 Medium для створення зображень

[prosha_evolist]

Пропоную обговорити Вийшла ШІ-модель Stable Diffusion 3 Medium для створення зображень

Що найголовніше, вона здатна робити це безпосередньо на пристрої користувача, а версія Medium підтримує відеоадаптери мейнстрім-рівня.

Локальні збірки більш старої версії вже давно є, с купою корисних приколів.

Зате версія Medium здатна працювати на відеоадаптерах із п'ятьма гігабайтами пам'яті, тобто користувачам не обов'язково купувати топову відеокарту.

Скоріш за все завезли "костиль", який зараз використовується, де зображення ріжеться на частини та кожна генериться окремо

[MqM]

Пропоную обговорити Вийшла ШІ-модель Stable Diffusion 3 Medium для створення зображень

Що найголовніше, вона здатна робити це безпосередньо на пристрої користувача, а версія Medium підтримує відеоадаптери мейнстрім-рівня.

Локальні збірки більш старої версії вже давно є, с купою корисних приколів.

Зате версія Medium здатна працювати на відеоадаптерах із п'ятьма гігабайтами пам'яті, тобто користувачам не обов'язково купувати топову відеокарту.

Скоріш за все завезли "костиль", який зараз використовується, де зображення ріжеться на частини та кожна генериться окремо

Не думаю, що це костиль, а навпаки перевага - розподіляючи більш рівномірно обчислення. Користуюся outpaimting все добре, навіть вражаюче

[prosha_evolist]

це костиль, а навпаки перевага - розподіляючи більш рівномірно обчислення.

Воно генерить кожен регіон окремо, та їх склеює. При значеннях cfg вище середнього дуже видно ці склейки, як і різницю між регіонами. Проте іншого способу працювати з 5к на умовних 8гб відеопам’яті нема(.

Накрутив для прикладу

спойлер

[Artem_K]

Проте іншого способу працювати з 5к на умовних 8гб відеопам’яті нема(.

Які там 5К, якщо 8Гб вже проблематичні для fhd. Колись балувався, й для нативного, без апскейлерів, 2048 на 2048 не вистачило 12 Гб.

[item2]

prosha_evolist
А скільки приблизно треба VRAM для 4К-5К без склейок? Дяк. Мабуть, 24-32 ГБ.

[Earanak]

Оффтоп про мои личные потуги в обработке рендеров

В ComfyUI (как думаю и в других Web-Интерфейсах) есть несколько нод которые заточены под обработку (уже существующей картинки) тайлами, где есть настройки отступов/смешивания/размер тайлов и всякое такое. Например DetailerDebug SEGS, Ultimate SD Upscaler и еще там какие то... Картинка конечно долго в таком случае обрабатывается из за неравномерного применения видяхи, но это удобнее чем руками в инпейнте кусочками все выделывать )) Думаю что и для создания картинок есть нечто похожее.

Конечно многое от задачи зависит. Я пока что тайлы использую для инпейнт обработки целой картинки, что бы она не сильно менялась. Что бы местами набрасывалась детализация через LoRA с деталями, тайлинг уходил немного, растения чутка смягчались, а что выходит не очень то подтираю... Пока как-то так выходит. Было -> https://i.imgur.com/0E2yYw2.jpg -> Стало -> https://i.imgur.com/CKmlAdU.jpg

Кстати от накрутки CFG картинки могут становиться либо более красночными либо менее, иногда приходится восстанавливать теплоту солнца например. Но я только начал ковырять это все, пока еще многому нужно научится и обкатать. Сейчас разбираюсь как делать инпейнт воркфлоу через пачку RGB масок (12+) и сразу через 24 окна Промптов, т.е что бы обрабатывать картинку не целиком а более выборочно и по частям - Фасады, Генплан, Кусты, Цветы, Деревья, Люди, МАФ-ы, Мебель, Небо и всякое такое. Но пока выходит сомнительно, так как края масок выходят не очень и приходится руками править многое. Надо было врываться в эту тему еще года пол назад, но было немного не до этого, сейчас догоняю всех

prosha_evolist
А скільки приблизно треба VRAM для 4К-5К без склейок? Дяк. Мабуть, 24-32 ГБ.

Насколько я понимаю XXL модели сейчас без склеек (тайлов) натренированы лишь на 768px. А большинство моделей на 512px. Как я понимаю этот процесс - все что выше работает уже через апскейлеры либо с большими искажениями или мылом. Но в данном случае, апскейлеры очень нехило так отрабатывают. Чем сложнее схема и тяжелее модели тем больше памяти у видяхи должно быть, но тайлы очень помогают в этом. Некоторые ноды можно на проц и оперативку переключать. Так же не стоит забывать про Shared GPU Memory, файл подкачки видеопамяти который висит в ОЗУ. Я это к тому что не во всех случаях нехватка набортной видео-памяти означает тупик, но во многих.

[prosha_evolist]

А скільки приблизно треба VRAM для 4К-5К без склейок? Дяк. Мабуть, 24-32 ГБ.

5к в мене на 24гб вилітає. 30+ точно.... Тому ріжу на 1024 або 2048, в залежності від ситуації.

Які там 5К

Ну це ж не лише для розваг використовується Я, загалом, часто юзаю базу в 5к, з апом до 10к, бо воно чудово деталі в такому випадку вимальовує, та й після апу до 10к можна ще декільна разів прогнати додатково, для топового результату

Ось різниця базового 100% та з апом+бубнопляскою

спойлер

[_nic]

Воно безкоштовне?

[MqM]

це костиль, а навпаки перевага - розподіляючи більш рівномірно обчислення.

Воно генерить кожен регіон окремо, та їх склеює. При значеннях cfg вище середнього дуже видно ці склейки, як і різницю між регіонами. Проте іншого способу працювати з 5к на умовних 8гб відеопам’яті нема(.

Накрутив для прикладу

спойлер

Іншого способу оптимізації не існує. На склейки є окремі рішення.
Склейки фіксяться виділенням цих місць та перегенерацією наново)

Відправлено через 8 хвилин 29 секунд:

А скільки приблизно треба VRAM для 4К-5К без склейок? Дяк. Мабуть, 24-32 ГБ.

5к в мене на 24гб вилітає. 30+ точно.... Тому ріжу на 1024 або 2048, в залежності від ситуації.

Які там 5К

Ну це ж не лише для розваг використовується Я, загалом, часто юзаю базу в 5к, з апом до 10к, бо воно чудово деталі в такому випадку вимальовує, та й після апу до 10к можна ще декільна разів прогнати додатково, для топового результату

Ось різниця базового 100% та з апом+бубнопляскою

спойлер

я склеював до 4к (інколи вдавалося і до 6к) спокійно на 8 ГБ відясі, але залежить, що саме робиш. Деякі запити з ультра деталізованою шкірою обличчя перестає малювати при меншому розмірі. Тобто сам промт дуже впливає на навантаження, деколи в рази і справа не в кількості пікселів

Відправлено через 1 хвилину 4 секунди:

Воно безкоштовне?

Завжди безкоштовне, але з вас мінімум середній пк)

[prosha_evolist]

Склейки фіксяться виділенням цих місць та перегенерацією наново)

Та зрозуміло, але по факту це все костилі)

Деякі запити з ультра деталізованою шкірою обличчя перестає малювати при меншому розмірі.

Обличчя та текстури тканин поки щось найважче в плані генерації, але то, скоріш за все, треба моделі підібрати інші.

[Alligator]

prosha_evolist, це ви генерували через саме те ПО, що по посиланню новини на редіт?
У мене 1024х1024 за замовчуванням та можно міняти до 2048х2048, при чому до 1024 претензій нуль та виглядає шикарно, а ось при 2048 білібірда та тільки в центрі зображення якісне, в кутках наче був ліміт та воно залишило шматки набросків.

спойлер

RTX 3080 навантаження на декілька секунд до 32% при 1024х1024. ОЗУ 8Гб, ЦП майже не використовує.
P.S. з текстом у програми проблемки, наче "полив торт"

[prosha_evolist]

це ви генерували через саме те ПО, що по посиланню новини на редіт?

Ні, локальна збірка старішої версії СД.

Просто воно жере купу відеопам’яті при хайрезах, і це був один з варіантів як вони одразу цю проблему (для відях до 16гб) могли вирішити.
При сценаріях з просто генерацією, тим більше "простими" параметрами, воно не так сильно помітно. (Але може зробили реально топ, поки ще не тестував)

[Alligator]

prosha_evolist
А де покрутити, щоб воно почало "реалістичніше" генерувати?
Бо чогось в 99% мультяшне виходить

спойлер

[Beata]

Протестував трохи, щось з тою моделлю не те, з руками і анатомією взагалі якийсь жах, таке враження що ще гірше ніж в попередніх моделях стало. Ну і зацензурена вкрай

[prosha_evolist]

Alligator
Там потрібні інші моделі, +лори +промпти +негатив промпти, без бубнопляски не вийде
На civitai є описи та інфа по кожній картинці, якщо цікаво

[Alligator]

prosha_evolist для "погратися" вистачило, далі треба буде відкласти в довгий ящик, пожежних до речі реалістичних малює.

[taras_cs]

пожежних до речі реалістичних малює.

Слайди! Слайди! (с)

Відправлено через 1 хвилину 13 секунд:
(З анекдоту "Лекція про любофф в комуняк")

[Alligator]

пожежних до речі реалістичних малює.

Слайди! Слайди! (с)

Відправлено через 1 хвилину 13 секунд:
(З анекдоту "Лекція про любофф в комуняк")

спершу подумав, що воно рандомну фотку с гугла взяло.

спойлер

а при спробі 2048х2048 фігню робить

спойлер

Відправлено через 20 хвилин 29 секунд:

Воно безкоштовне?

Так. І будь таке у мене років з 10 вже б став міліонером
Без жартів, воно шикарно генерує зображення для сайтів новин та соц мереж.
Трохи допилити крутелятори та нічим не гірше "презентація майбутньої карти".

спойлер

А ось вундервафля з радіатором від автомобіля який пройшов пару сотен миль

спойлер

і на генерацію двох картиной потратив тільки хвилину

[prosha_evolist]

Alligator

Без жартів, воно шикарно генерує зображення для сайтів новин та соц мереж.

Воно ізі може нагенерувати купу етикеток\рекламки, + можна спочатку заюзати з однією моделлю, і потім цю картинку перегнати через іншу.

[Alligator]

prosha_evolist
Та ідей багато, комікси, браузерні ігри, розвиваючі програми... проблема тільки в часі, це втратило актуальність на якій можно було б заробити. Потенційні споживачі моїх ідей вже "виросли", а новим подавай інстаграм з фейсбуком та ігри "пресс Х ту він".

А ось початковим дизайнерам у яких немає стабільних заказів на потоці по контракту буде тяжко, рукастий фотошопер та сеошник з розумним підходом до ключових фраз генерації реально можуть пів офісу копірайтерів замінити тепер.