Dreamy hotel AI concept | Обучение генеративной нейросети
Идея проекта
Мне захотелось обучить нейросеть Stable Diffusion для генерации интерьерных концептов в моем стиле (ИИ и визуализации проектов) с сохранением характерных цветов, текстур и сочетаний. В процессе создания первых генераций я решила, что будет интересно попробовать собрать несколько удачных изображений в цельный проект.
Основная идея - создать концепт интерьеров отеля только на основе сгенерированных изображений обученной модели.
Основная цель — получить прикладные знания, которые в дальнейшем могут быть применены на начальных этапах создания концепций проектов.
Несколько изображений из базы данных (мои генерации и визуализации)
Итоговые генерации
Модель смогла передать характерную подсветку из моих генераций, материалы проектов и общее впечатление легкости и спокойствия. При создании интерьеров отеля я старалась минимально менять изначальный промпт, чтобы сохранить стиль, также разделила основные зоны по цветам.
Желтым цветом я обозначила пространство лобби отеля, наиболее встречающее, теплое и яркое.
/prompt: photo of a hotel lobby interior in CROSBY style, reception desk, white and light yellow colors
Зона рецепции и лобби
Голубой цвет выбрала для общественных пространств галереи и ресторана.
/prompt: photo of a interior in CROSBY style, white wall, light blue floor, photographed by Hiroshi Sugimoto
Пространство галереи
Розовый цвет для номеров отеля, частных пространств.
/prompt: photo of a cafe interior in CROSBY style, light blue colors / light pink colors
Ресторан и столовая зона в номере
В номере и пространстве галереи я хотела добиться эффекта «другого ракурса», поэтому добавила в промпт интерьерного фотографа, известного фронтальной съемкой.
/prompt: photo of a hotel bedroom interior in CROSBY style, light pink colors, photographed by Hiroshi Sugimoto
/prompt: photo of a interior in CROSBY style, sofa, journal table, light pink colors, photographed by Hiroshi Sugimoto
Гостиничный номер
Процесс обучения
Сначала загрузила все необходимые для работы библиотеки: Diffusers и DreamBooth.
Далее загрузила изображения с папки на Google Drive в Google Colab. Это сделано через встроенную в Colab функцию drive. Дополнительно форматирую изображения (обрезаю до квадратного соотношения) также с помощью кода. Затем проверяю, что изображения действительно загрузились, вывожу несколько из них на экран с помощью image_grid.
Далее ко всем изображениям код автоматически генерирует подписи (captions) с помощью модели BLIP от Salesforce. Это также этап подготовки датасета: каждое изображение получает описательный текст, чтобы модель понимала, что на нём изображено.
Еще одна подготовка к Обучению, ввожу access token к аккаунту Hugging Face.
В этой части кода уже обозначена тренировка модели. Выбрано разрешение 512, выставлен максимальный шаг тренинга на 500, а checkpoint установлен на 250. Это сокращает время на процесс тренировки (пример занял 30-35 минут).
Затем сохраняю обученную модель на Hugging Face и создаю первые генерации.
После создания первых пробных генераций, попробовала создать 20 изображений разных пространств («gallery», «hotel lobby», «bar», «cafe», «restaurant», «office», «shop», «art center», «museum») с помощью кода, который подставлял нужное слово перечисляя их друг за другом. Остальной промпт при этом не менялся. В целом, здесь уже считываются преобладающие цвета моих работ, плавные формы, пастельные оттенки, мягкая подсветка.
/prompt: photo of a {place} interior in CROSBY style
Генерации про промпту с перечислением пространств
Далее я все-таки решила больше уточнять пространство и цветовую гамму, также попробовала указывать необходимые объекты. Такой подход я и оставила для финальных генераций.
Промпты для изображений ниже: /photo of a interior in CROSBY style, white walls, light blue accents, captured by Hiroshi Sugimoto /sofa in CROSBY style, sofa, purple fabric, polished metal details, glass, pink colors, white backround furniture design photography /photo of a hotel interior in CROSBY style, reception desk, polished metal details /photo of a interior in CROSBY style
Генерации по промпту с дополнениями
Список использованных в проекте инструментов:
— Stable Diffusion — обучение генеративной нейросети под свой стиль; — Google Colab — выполнение кода и генераций; — Hugging Face — получение токена для обучения нейросети, загрузка полученной модели на сайт; — Adobe Photoshop — для коллажирования готовых работ; — Prome AI — upscale изображений и удаление «мусорных» объектов.
Таким образом, для создания и обработки изображений использовались только нейросетевые инструменты.
