Импрессионизм сегодня. Генерация изображений в стиле Клода Моне.
Цель проекта — обучить нейросеть создавать изображения в духе импрессионизма, используя работы Клода Моне (1840–1926) как визуальную основу.
Проект исследует, как нейросеть может перенять характерные особенности стиля Моне: 1. Живописную технику мазка 2. Игру света и атмосферу 3. Цветовую палитру импрессионизма 4. Применение стиля к современным сюжетам
Основная гипотеза: Импрессионизм изменил представление о живописи — вместо точной передачи формы он сосредоточился на мгновении, свете и ощущении атмосферы.
Главная задача: 1. Обучить нейросеть «видеть» как Моне 2. Передать художественные принципы импрессионизма. 3. Создать новые работы в этом стиле
Датасет:
Параметры сбора данных: 1. Количество изображений: 60 работ Моне 2. Разрешение: высокое качество 3. Формат: PNG 4. Права: общественное достояние
Источники:
1. The Metropolitan Museum of Art https://www.metmuseum.org/art/collection (CC0) 2. Rijksmuseum Collection https://www.rijksmuseum.nl/en/search 3. Art Institute of Chicago https://www.artic.edu/collection 4. Wikimedia Commons https://commons.wikimedia.org/wiki/Claude_Monet
Обучение модели:
Архитектура модели: Stable Diffusion (дообучение / DreamBooth)
Цели обучения: 1. Передача характерных мазков 2. Сохранение цветовой палитры 3. Воспроизведение световых эффектов 4. Генерация новых сюжетов в стиле Моне
ПОДГОТОВКА (загрузка и подключение библиотек)
Далее, я загрузила работы Моне.
Загрузка работ Моне
image_grid (imgs[: 10], 1, num_imgs_to_preview)
image_grid (imgs[10:20], 1, num_imgs_to_preview)
image_grid (imgs[20:30], 1, num_imgs_to_preview)
image_grid (imgs[30:40], 1, num_imgs_to_preview)
Далее, я… …создала подписи к работам Моне; …создала JSON файла с префиксами; …сделала подготовку и сделала вход на Hugging Face.
Обучение
Настройка параметров обучения:
Для обеспечения эффективного и стабильного обучения модели DreamBooth с использованием LoRA в требовательных к ресурсам конвейерах, таких как Stable Diffusion XL, применяются следующие методы оптимизации:
Аккумуляция градиентов (--gradient_accumulation_steps) 8-битная оптимизация Adam (--use_8bit_adam) Вычисления с пониженной точностью (--mixed-precision="fp16»)
Оптимизация процесса обучения:
1. Аккумуляция градиентов — позволяет эффективно увеличивать размер батча без превышения лимитов памяти 2. 8-битная оптимизация — значительно сокращает потребление памяти без существенной потери качества 3. Смешанная точность — ускоряет вычисления за счет использования формата FP16 для большинства операций
Запуск обучения
Сохранение модели
Демонстрация работы обученной модели
«photo collage in MONE style, sunny day on a lake in a mountainous area»
«photo collage in MONE style, Rough sea crashing against the cliffs of Etretat, dramatic sky»
«photo collage in MONE style, a boat in a seaweed thicket on a lake»
«photo collage in MONE style, Two people in a canoe on a fast-flowing river, surrounded by a mountainous landscape, a bright sunny day, and water sparkling with reflections of the sky and trees»
Анализ результатов
Сходство с стилем Клода Моне:
Цветовая палитра: Генератор успешно перенял характерную для Моне палитру с преобладанием мягких, пастельных тонов, а также ярких акцентов в изображении воды и света. Техника мазка: Модель научилась имитировать характерные мазки кисти, создающие эффект движения и легкости, что является отличительной чертой импрессионизма. Свет и атмосфера: Изображения передают игру света и тени, создавая ту самую «атмосферность», которая присуща работам Моне.
Визуальный анализ мазков и текстур
При детальном рассмотрении сгенерированных изображений мы наблюдаем: Характерные для Моне короткие и быстрые мазки. Правильную передачу света и тени за счет контрастных мазков. Типичное для импрессионизма отсутствие четких контуров, формы создаются за счет цветовых пятен.
Выводы по результатам
Стилистическое сходство: Модель успешно научилась генерировать изображения, которые визуально очень близки к работам Клода Моне. Цвет и свет: Передача цветовой палитры и световых эффектов соответствует импрессионистскому стилю. Техника мазка: Модель имитирует технику мазка, что подтверждает успешное усвоение стиля.
Заключение: Наша модель демонстрирует высокую способность к переносу стиля Клода Моне на новые изображения. Это открывает возможности для создания цифрового искусства в стиле импрессионизма.
1. описание идеи всего проекта; исходные изображения для обучения (несколько примеров);
2. результирующая серия изображений
3. развёрнутый комментарий, что представлено в итоговой серии изображений и как это связано с концепцией проекта: разбор характеристик изображений, какие элементы стиля или особенности персонажа удалось передать, описание того, как результаты соответствуют первоначальной идее, объяснение деталей генерации (например, использовались ли дополнительные методы улучшения, как нейросеть обработала исходные данные), визуальный анализ (чем изображения отличаются друг от друга, какие вариации получились) и так далее.
4. ноутбук с кодом для обучения и описание процесса обучения;
5. укажите, использовали ли Вы ГенИИ (и какой) в проекте помимо обученной нейросети (для написания экспликации, генерации идеи и т. д.).