Обучение генеративной нейросети под стиль Сида Мида
Идеей моего проекта является обучение генеративной нейросети Stable Diffusion под стиль американского художника, дизайнера и футуриста Сида Мида и дальнейшее ее использование с целью генерации уникальных изображений в этом стиле.
СИД МИД И ЕГО СТИЛЬ
Сидни Джей Мид (18 июля 1933 — 30 декабря 2019) был известным американским промышленным дизайнером и художником-концептуалистом, работающим в стиле неофутуризма. Он помогал в разработке дизайна таких научно-фантастических фильмов, как «Бегущий по лезвию», «Чужие» и «Трон». Мида называют «художником, который визуализирует будущее»*, а также «одним из самых значимых концепт-художников и промышленных дизайнеров своего времени»**. (Бикс, Эмили (30 декабря 2019 г.). «Сид Мид умер: художник-футурист из „Звёздного пути“ и „Бегущего по лезвию“ скончался в возрасте 86 лет»; Сиссон, Патрик (30 декабря 2019 г.). «Прощай, Сид Мид: беседа с художником, который иллюстрировал будущее городов»)
Особенности стиля:
- Неофутуризм: Мид создавал визуализации будущего, которые сочетали технологии, архитектуру и природу. Его работы часто изображают утопические или дистопические миры. - Детализация и реализм: Его концепции отличались высокой степенью детализации и реалистичности. Он уделял внимание мелочам в дизайне техники и окружающей среды. - Свет и цвет: В его работах часто использовались яркие цвета и контрастные световые эффекты, что придавало изображениям динамичность и энергию. - Человеческий элемент: Несмотря на акцент на технологиях, в его работах всегда присутствовал элемент человеческого взаимодействия, что добавляло эмоциональную глубину его концепциям.
Для обучения генеративной нейросети я собрала датасет, состоящий из 17 изображений, представляющих из себя картины Сида Мида, обрезанные под квадратный формат для наиболее корректной работы.
Данный код реализует обучение генеративной нейросети на основе предобученной модели Stable Diffusion XL с помощью техник DreamBooth и LoRA, ориентируясь на стилистику футуристических изображений художника Сида Мида.
На данном этапе происходит подготовка данных. Я создала папку «syd-mead», в которую копируются изображения для дальнейшей обработки и обучения. Затем я ввожу функцию для отображения изображений в виде сетки. Это помогает убедиться, что данные загружены корректно.
После происходит загрузка и предварительный просмотр изображений.
captions
С помощью модели BLIP генерируются описания к изображениям. Эти текстовые описания я буду использоваться как промпты при обучении генеративной модели.
На следующем этапе происходит обучение генеративной модели (Stable Diffusion XL) на собранном наборе изображений с подписями в стиле «Syd Mead». Обучение заняло около 50-ти минут.
Приступая к написанию промптов для генерации изображений я решила выделить три типа будущих картинок: 1) изображение города / архитектуры, 2) изображение транспортного средства, 3) изображение пейзажа, 4) изображение портрета человека.
АРХИТЕКТУРА
prompt: «photo collage in syd-mead style, painting of a futuristic city with skyscrapers and a lots of plants and flowers, warm tones» (вариации)
Сгенерированное изображение футуристичного города получилось достаточно качественным и проработанным. Здесь четко выражена архитектура, а также добавлены растения и цветы, упомянутые в промпте. Изображение хорошо передает стиль Сида Мида.
prompt: «photo collage in syd-mead style, painting of a futuristic city on Mars» (вариации)
prompts: «photo collage in syd-mead style, painting of a space flying city orbiting Neptune», «photo collage in syd-mead style, painting of a city on the moon with all the infrastructure»
Однако следующие попытки изображения внеземных городов нельзя назвать такими же успешными, как в первом случае. На вариациях марсианского города архитектура более-менее видна, но на следующих изображениях здания теряются, появляется некий хаос. Несмотря на это, стилистика Сида Мида также хорошо прослеживается.
ТРАНСПОРТНОЕ СРЕДСТВО
prompt: «painting of an American sports car from the 1990s» (вариации)
prompt: «photo collage in syd-mead style, painting of a sporty futuristic motorcycle» (вариации)
Машину у нейросети получилось сгенерировать намного точней, чем мотоцикл.
ПЕЙЗАЖ
prompt: «photo collage in syd-mead style, painting of futuristic rainforest with jungle in warm tones and bright colors» (вариации)
- prompt: «photo collage in syd-mead style, painting of flying exotic birds among the mountain landscape» 2. prompt: «photo collage in syd-mead style, painting of a lonely desert landscape»
prompt: «photo collage in syd-mead style, painting of a seascape and sunset»
Пейзажи получились достаточно качественными, сохранилась необходимая стилистика.
ПОРТРЕТ
Люди в творчестве Сида Мида хоть и играют важную роль в общей композиции картины, но не являются ее центром. Я решила создать серию портретов в стилистики картин футуриста, и эта идея, на мой взгляд, стала самой интересной.
prompt: «photo collage in syd-mead style, portrait of a beautiful cyborg woman»
prompt: «photo collage in syd-mead style, portrait of a beautiful cyborg woman in a red suit with long dark brown curly hair and blue eyes» (вариации — промпт был немного изменен)
prompt: «photo collage in syd-mead style, portrait of a blonde cyborg woman» (вариации)
- prompt: «photo collage in syd-mead style, portrait of a cyborg man with a mustache and stern eyes» 2. prompt: «prompt: „…, portrait of a cyborg man with a thick beard and a frown“
prompt: «photo collage in syd-mead style, portrait of a cyborg boy with blond curly hair and a sweet smile»
В результате попытки обучения генеративной нейросети под стиль художника Сида Мида я пришла к удовлетворительному результату. Итоговая серия изображений хорошо передает особенности выбранного стиля: футуристичное изображение архитектуры и транспорта, детализация и проработка изображений, световое и цветовое решение, характерное творчеству Сида Мида. Кроме того, успешной оказалась попытка создать серию человеческих портретов, основываясь на стилистике футуриста, которая получилась качественной и хорошо проработанной.
Ноутбук с кодом для обучения + датасет:
Генеративные нейросети:
BLIP — Генерация описаний к изображениям
Stable Diffusion XL Base 1.0 — Генерация изображений
SDXL VAE — Кодирование и декодирование изображений
