Original size 2640x3739

Обучение генеративной нейросети под собственный стиль

PROTECT STATUS: not protected

Идея проекта

Идея проекта возникла спонтанно, во время работы над одной из картин. Я рисую с детства, но свой стиль, в котором работаю последние полгода, нашла совсем недавно. Сложно сказать, существует ли для него точное название или есть ли другие художники, работающие в подобной манере.

В основном я пишу женские портреты. Главная задача и сложность — добиться разнообразия, используя различные фоны и золотые элементы потали.

Так, я захотела обучить нейросеть писать картины в своём незамысловатом стиле.

Картины собственного написания.

Исходный data-set

Так как картины пишутся достаточно долго, за эти полгода мной было написано всего две, что, конечно, очень мало для data-сета. Тогда на помощь пришли референсы в схожем стиле. Таким образом, мне удалось собрать небольшой data-сет из 24 картин.

big
Original size 4730x2429

Часть изображений из data-сета

Подготовка и процесс обучения модели

Подготовив окружение для обучения генеративной нейросети, я собрала датасет из отобранных картин и загрузила его в kaggle.

big
Original size 1604x1046

Следующим шагом стал автоматизированный процесс создания промтов для каждой картины.

Original size 2260x1346

После настройки окружения, я запустила процесс обучения модели.

Original size 2948x1226

Модель обучилась и, наконец, я смогла приступить к написанию промтов и генерации изображений.

Original size 2126x1570

Результат

Original size 4663x1933

Примеры работ сгенерированных обученной моделью

Результатом я осталась очень довольна. Несмотря на небольшой датасет, модель точно определила, какие объекты на картинах должны оставаться черно-белыми, а где нужно добавить золотые элементы. Этот метод не только позволяет создавать красивые изображения в заданном стиле, но и может служить источником вдохновения для моих будущих работ!

Обучение генеративной нейросети под собственный стиль