Стараюсь изучать возможность использовать генерации изображений на основе текста, или изображения, их модификации- удаление, чистка, апскейлинг, а также оцветнение чернобелых изображений. За полгода очень многое меняется, завтра не удивлюсь, что все не так и по другому.
То что использую сейчас и примеры генерации. Например такой промпт:
Собака смотрит в окно, за окном виднеется зеленый луг, уходящий в бескрайний космос с звездами и галактиками. Визуализация мыслей собаки: в воздухе вокруг ее головы изображены небольшие облачка или пузыри, внутри которых показаны ее мечты и фантазии — косточка, летающая тарелка, бескрайние поля для игр, планеты и звезды. Стиль: красочный, слегка сюрреалистичный, с акцентом на детали и эмоции собаки. Освещение: мягкое, с сочетанием дневного света и космического сияния.
The dog looks out the window, outside the window is a green meadow, which goes into endless space with stars and galaxies. The visualization of the dog’s thoughts: in the air around her head, small clouds or bubbles are depicted, inside of which her dreams and fantasies are shown - a bone, a flying saucer, endless fields for games, a planet and star. Style: colorful, slightly surrealistic, with an emphasis on the details and emotions of the dog. Lighting: soft, with a combination of daylight and cosmic radiance.
Fooocus (SDXL)
Довольно простой инструмент, но имеет вполне хорошие возможности по частым операциям, я бы сказал стандартным- повысить резкость, разрешение, раширить по сторонам, поменять объект. Но что то более сложное, с масками или картой глубины уже не так просто делается.
Вот тот же промпт и что вышло, использовал 2 модели.
| Styles [‘Fooocus V2’, ‘Fooocus Enhance’, ‘Fooocus Sharp’] Performance Speed Steps 30 Resolution (1152, 896) Guidance Scale 4 Sharpness 2 ADM Guidance (1.5, 0.8, 0.3) Base Model juggernautXL_v8Rundiffusion.safetensors Refiner Model None Refiner Switch 0.5 CLIP Skip 2 Sampler dpmpp_2m_sde_gpu Scheduler karras VAE Default (model) LoRA 1 sd_xl_offset_example-lora_1.0.safetensors : 0.1 |
 |
 |
| Styles [‘Fooocus V2’, ‘Fooocus Enhance’, ‘Fooocus Sharp’] Performance Speed Steps 30 Resolution (1152, 896) Guidance Scale 4 Sharpness 2 ADM Guidance (1.5, 0.8, 0.3) Base Model realisticStockPhoto_v20.safetensors Refiner Model None Refiner Switch 0.5 CLIP Skip 2 Sampler dpmpp_2m_sde_gpu Scheduler karras VAE Default (model) LoRA 1 sd_xl_offset_example-lora_1.0.safetensors : 0.1 |
 |
 |
Не очень соответсвовало заявке, не хватает существенной части- мыслей собаки, да и однообразно.
ComfyUI
Самый удобный и мощный инструмент, но требует погружения. Скачать можно тут. У меня моделей и прочего накачено уже более 260 Гб. Удобная ( для меня, может) структура нод. Здесь больше всего разнообразия и в т.ч. результаты так же от убогих до шедевров. Но много чего мой ноутбук не вывозит, долго, а когда нужно попробовать, то это превращается в ужас. Зато все последние фишки и хайп, в т.ч. видео все это здесь. Но если ограничится только одной задачей то структура простая, а если начнешь в одной схеме учитывать несколько сценариев, как пример- сгенерить картинку- потом ее апскейлит, убрть что то, добавить, растянуть, поменять стиль. — приходится использовать несколько схем все это путает и так же долго все, если не вылетает по памяти.
| flux1-dev-fp8.safetensors», «weight_dtype»: «fp8_e4m3fn «simple», «steps»: 20, «denoise»: 1.0 |
 |
 |
|
flux1-dev-Q4_K_S.gguf, «steps»: 8, «cfg»: 1.0, «sampler_name»: «euler», «scheduler»: «simple», «denoise»: 1.0, lora»: «FLUX\\flux-turbo-8steps.safetensors» |
 |
 |
| flux1-schnell-Q4_K_S.gguf, «steps»: 4, «cfg»: 1.0, «sampler_name»: «euler», «scheduler»: «simple», «denoise»: 1.0 |  |
 |
В схеме FLUX schneel что выполняется 4 шага есть «приемущество» выполнить только 1-й шаг. Это по времени примерно секунд 15 и увидеть вариант, который потом можно «довести до ума»
| 1 шаг | 4 шага |
 |
 |
KRITA+ AI
Редактор с доп плагином для генерации. Программа бесплатная, ставится из репозитория. Ставим плагин ( еще инструкция Plugin Installation | Krita AI Handbook) По сути внутри автономный ComfyUI с соответсвующими моделями, включая FLUX. Но не такой свободы, Зато все организовано логично, и главное в редакторе по слоям, т.е. можно генерировать, модифицировать, улучшать, заменять прямо в редакторе используя где нужно AI. Мне этот вариант сейчас больше всего нравится в использовании.
| Style: Cinematic Photo Model: serenity_v21Safetensors.safetensors Sampler: Default — DPM++ 2M (20 / 7.0) Strength: 1.0 |
 |
 |
| Style: Digital Artwork Model: dreamshaper_8.safetensors Sampler: Default — DPM++ 2M (20 / 7.0) Strength: 1.0 |
 |
 |
| Style: Comic & Anime Model: flat2DAnimerge_v45Sharp.safetensors Sampler: Default — DPM++ 2M (20 / 6.0) Strength: 1.0 |
 |
 |
| Style: Flux [schnell] Model: flux1-schnell-fp8.safetensors Sampler: Flux — Euler simple (4 / 3.5) Strength: 1.0 |
 |
 |
| Style: Flux turbo Model: flux1-dev-fp8.safetensors LoRA: flux-turbo-8steps.safetensors (1.0) Sampler: Flux — Euler simple (8 / 3.5) Strength: 1.0 |
 |
 |
| Style: Juggernaut Photo (XL) Model: juggernautXL_v8Rundiffusion.safetensors Sampler: Default — DPM++ 2M (20 / 7.0) Strength: 1.0 |
 |
 |
| Style: Cinematic Photo (XL) Model: RealVisXL_V5.0_fp16.safetensors Sampler: Default — DPM++ 2M (20 / 7.0) Strength: 1.0 |
 |
 |
| Style: Digital Artwork (XL) Model: pixelwave_11.safetensors Sampler: Default — DPM++ 2M (20 / 7.0) Strength: 1.0 |
 |
 |
| Style: Anime (NoobAI XL) Model: NoobAI-XL-Vpred-v1.0.safetensors Sampler: Alternative — Euler A (26 / 5.0) Strength: 1.0 |
 |
|
из всех вариантов, наиболее адекватны модели FLUX
Le Chat Mistral AI
Есть возможность бесплатного использования для генерации изображения на ресурсе https://chat.mistral.ai. Тот же запрос дает такой результат
На вопрос какую модель использует чат, получил такой ответ:
Я использую модель от BlackForest Labs для генерации изображений. Точные параметры, которые я использую для генерации изображения, включают:
Модель: bf_v1
Размер изображения: 1024×1024 пикселей
Формат изображения: JPG
Эти параметры обеспечивают высокое качество изображения и позволяют создавать детализированные и красочные визуализации.
Ну, оно и видно, что изображения напоминают FLUX.
