Введение:

Одной из самых сложных задач для людей является программирование или разработка процесса обучения компьютеров творческому мышлению или помощи им в понимании норм стиля. Люди, настоящие или современные художники, веками создавали искусство, используя разные стили живописи и человеческий интеллект. Нет сомнений в том, что компьютеры чрезвычайно хороши в выполнении именно того, что мы от них просим, ​​и они способны выполнить задачу быстро, но творчество — это абстрактное понятие, и обучение ему машин было сложной задачей машинного обучения. Чтобы преодолеть эту проблему, группа студентов из Университета Рутгерса в исследовательской работе представила концепцию CAN (Creative Adversarial Networks).

CAN, работающий на основе глубокого обучения, нейронных сетей и искусственного интеллекта, позволяет машинам мыслить творчески, а это значит, что это не дешевая имитация какого-либо уже существующего произведения искусства.

Давайте узнаем и поймем, что такое CAN и как они работают.

CAN — это GAN с творческим процессом

Чтобы понять CAN, вам сначала нужно разобраться с генеративно-состязательными сетями (GAN), которые были созданы Яном Гудфеллоу и его коллегами несколько лет назад. Хорошее понимание GAN позволит вам полностью понять CAN.

Общая состязательная сеть (GAN) — это тип генеративной модели, которая наблюдает за несколькими выборочными распределениями и генерирует больше выборок того же распределения. Он состоит из двух основных компонентов: генератора и дискриминатора. В модели генератора информация (примеры изображений) генерируется на основе набора данных, из которого она поступает, а модель дискриминатора определяет, является ли изображение реальным или поддельным.

При подаче поддельных изображений, сгенерированных генератором, и реальных изображений, дискриминатор может классифицировать каждое изображение как настоящее или поддельное на основе его способности распознавать шаблоны. Генератору также полезно получить обратную связь о том, какие изображения лучше всего обманывают дискриминатор и как они могут сделать свою стратегию еще лучше, чтобы обмануть дискриминатор еще эффективнее.

Когда дискриминатор и генератор соревнуются за звание лучших в том, что они делают, оба становятся лучше в том, что они делают, и когда генератор правильно обучен, результаты, которые производит генератор, могут быть на удивление реалистичными, если GAN правильно настроены. обучен.

CAN следуют той же архитектуре, за исключением одного небольшого изменения в архитектуре GAN.

Дискриминаторам по-прежнему необходимо научиться классифицировать изображения как настоящие или поддельные, но приложите дополнительные усилия, чтобы они также научились классифицировать их в соответствии с различными стилями (например, кубизм, абстракция, ренессанс, реализм и т. д.).

Читайте также: Введение в генеративно-состязательные сети (GAN)

Как работает Creative Adversarial Network?

Следует отметить, что в Creative Adversarial Network (CAN) генератор получает два сигнала от дискриминатора и рассматривает их как две противоборствующие силы для достижения трех целей:

Создание новых произведений.

Согласно кривой Вундта, работа не должна быть надуманной, чтобы активировать систему отвращения и перевести ее в отрицательный гедонистический диапазон.

Создаваемая работа должна повысить стилистическую неоднозначность.

В предлагаемой сети CAN используются две состязательные сети: дискриминатор и генератор. Это похоже на архитектуру генеративно-состязательных сетей (GAN), но с некоторыми особенностями. Дискриминатор имеет доступ к большому набору произведений искусства, связанных с этикетками стилей (Ренессанс, Барокко, Импрессионизм, Экспрессионизм и т. д.), и использует их, чтобы научиться различать стили. Генератор не имеет доступа ни к какому искусству. В отличие от GAN, CAN генерирует искусство на основе случайных входных данных, но получает два сигнала от дискриминатора для каждого выхода: первый сигнал определяет, является ли выход искусством или нет.

Традиционно этот сигнал позволяет генератору изменять свои веса для генерации изображений, которые с большей вероятностью обманут дискриминатор относительно того, происходят ли они из того же распределения изображений, что и в традиционных GAN. В нашем случае, поскольку дискриминатор обучен искусству, этот сигнал будет указывать, считает ли дискриминатор, что сгенерированное искусство принадлежит к тому же дистрибутиву, что и реальное искусство, о котором он знает. Таким образом, можно сказать, что этот сигнал указывает дискриминатору, считает ли он представленное ему изображение «искусством» или нет.

Генератор получает два сигнала. Первый сигнал касается того, способен ли дискриминатор определить, можно ли сгенерированное искусство или оцифрованные изображения классифицировать по установленным стилям. Второй сигнал, который получает генератор, показывает, насколько хорошо он может классифицировать сгенерированное искусство по установленным стилям.

Если генератор генерирует изображения, которые дискриминатор считает искусством, а также может легко отнести их к одному из установленных стилей, он обманет дискриминатор, заставив его поверить, что он создал настоящее искусство, которое вписывается в существующие стили этой категории. Творческий генератор, с одной стороны, создаст искусство, которое может сбить с толку дискриминатора. С одной стороны, он пытается обмануть дискриминатора, заставив его думать, что это «искусство».

Во-первых, генератор вынужден генерировать произведения, которые дискриминатор принимает как «искусство», но если он добьется успеха в рамках установленных стилей, он также сможет классифицировать свою работу. Поскольку второй сигнал подталкивает генератор к созданию произведений, неоднозначных по стилю, он будет сильно наказывать генератор за это. В результате эти два сигнала должны вместе подтолкнуть генератор к исследованию творческих пространств рядом с распространением искусства (чтобы максимизировать первую цель), в то же время максимизируя неоднозначность создаваемого искусства относительно того, как оно вписывается в рамки стандартный жанр художественного стиля.

Почему W творческой состязательной сетиорк?

Чтобы понять, почему дополнительная классификация изображений по стилям искусства позволяет генератору мыслить творчески, важно придумать конкретное определение, процесс и структуру творчества, которые машина может имитировать. Что-то похожее на предварительную версию деревьев решений.

Как описали в своей статье исследователи из Рутгерса, зрители с большей вероятностью воспримут творчество, когда произведение искусства одновременно уникально и не слишком необычно.

Используя этот метод, дискриминатор вознаграждается за создание изображений, которые генератор не может легко отнести к определенному художественному стилю, что заставляет генератор создавать действительно уникальные (творческие) изображения. Также важно отметить, что генератору все равно нужно обмануть дискриминатор, заставив его поверить в то, что изображения реальны, чтобы он не мог генерировать изображения, которые слишком выходят за рамки нормы и явно отличаются.

Благодаря такой архитектуре CAN способны моделировать то, что мы считаем творчеством в искусстве, основываясь на этом определении.

Он порождает искусство путем оптимизации критерия, который максимизирует стилистическую неоднозначность, оставаясь при этом в пределах распределения художественных образов с 15 по 21 век. Эксперименты на людях подтвердили, что созданное искусство часто путают с человеческим искусством и что созданное искусство иногда оценивается по шкале высокого уровня выше, чем человеческое искусство.

Читайте также: Переосмысление искусства с помощью генеративного искусственного интеллекта

Какими творческими характеристиками обладают CAN?

Три критерия, которыми должна обладать креативная система:

Воображение

Навык

Возможности оценки.

Поскольку взаимодействие между двумя сигналами, определяющими процесс генерации, предназначено для того, чтобы заставить систему исследовать творческое пространство, CAN может создавать новые артефакты, поскольку система вынуждена отклоняться от установленных стилей, но оставаться в пределах искусства, чтобы ее можно было распознать.

Взаимодействие также дает системе возможность самостоятельно оценивать производимую ею продукцию. В ходе экспериментов на людях было обнаружено, что испытуемые не только верили, что эти артефакты были созданы художниками, но и оценивали эти артефакты по некоторым шкалам выше, чем человеческое искусство.

Креативная состязательная сеть обладает рядом ключевых характеристик, среди которых то, что она изучает историю искусства в процессе создания искусства. Несмотря на это, за понятием стиль не стоит смысловое понимание искусства. У него нет ни понимания предмета, ни какого-либо четкого понимания элементов или принципов.

Таким образом, система способна постоянно учиться на основе нового искусства, а также концепций стилей. Система имеет возможность адаптировать свое поколение на основе того, что она узнает. Это потому, что он просто подвергается воздействию искусства и концепций стилей. Несмотря на то, что CAN-арт по разным параметрам оценивается выше образцов Art Basel, мы оставляем открытым вопрос, как интерпретировать ответы пользователей.

Заключение

Творческие состязательные сети (CAN) представляют собой прорыв в области искусства, генерируемого ИИ, знаменуя собой значительный шаг вперед в способности ИИ не просто имитировать, но и генерировать оригинальные творческие результаты. Используя состязательный процесс, CAN выходят за рамки простого копирования существующих стилей и создают новые и разнообразные художественные произведения, которые отклоняются от известных произведений искусства, но остаются тематически последовательными.

Ключевой особенностью CAN является разделение содержания и стиля изображения, что позволяет ИИ создавать новые художественные стили, сохраняя при этом определенную тематическую последовательность. Это достижение открывает захватывающие возможности, потенциально вызывая смену парадигмы в творческом мире. Взаимодействие между искусственным интеллектом и человеческим творчеством, предлагаемое CAN, может сформировать будущее искусства, предоставив художникам мощный инструмент для расширения границ своего творчества. Эволюция ИИ в искусстве поднимает критические вопросы о творчестве, оригинальности и роли людей-художников, ведя нас на новые неизведанные территории исследований и открытий на стыке технологий и искусства.

Рекомендации

Реас, Кейси. Кейси Рис: Создание изображений с помощью генеративно-состязательных сетей. 2019.

Сотой, Маркус Дю. Кодекс творчества: искусство и инновации в эпоху искусственного интеллекта. Издательство Гарвардского университета, 2020.

Зиска, Поля. Междисциплинарные подходы в области искусственного интеллекта, творчества, инноваций и зеленого сотрудничества. IGI Global, 2023.