Введение -Искусственный интеллект и редактирование изображений.
Искусственный интеллект (ИИ) произвел революцию в области редактирования изображений, представив расширенные функции, которые упрощают и автоматизируют сложные процессы, тем самым расширяя творческие возможности. Алгоритмы искусственного интеллекта способны понимать содержимое изображений, распознавать закономерности и принимать разумные решения на основе данных, на которых они обучались. В результате появились сложные инструменты, которые могут выполнять самые разные задачи: от удаления объектов до переноса стилей, от улучшения изображений до создания реалистичных изображений с нуля.
Читайте также: Реальные применения искусственного интеллекта в веб-дизайне.
Распознавание и удаление объектов
Одной из ключевых возможностей ИИ при редактировании изображений является распознавание объектов. Обучая ИИ на больших наборах данных, он может идентифицировать и различать различные элементы изображения. Это приводит к впечатляющим функциям, таким как удаление объектов, когда ИИ не только обнаруживает и стирает выбранный объект, но и разумно заполняет фон, создавая впечатление, будто объекта никогда здесь не было.
Улучшение изображения
ИИ также эффективен в автоматизации задач по улучшению изображений. Он может регулировать такие параметры, как яркость, контрастность, насыщенность и резкость, в зависимости от содержания изображения и условий освещения. ИИ может даже анализировать композицию фотографии и предлагать корректировки кадрирования или кадрирования, чтобы улучшить общую эстетику изображения. Такие усовершенствования, которые обычно требуют тренированного человеческого глаза и ручной настройки, теперь могут быть выполнены мгновенно и точно с помощью ИИ.
Передача стиля
Передача стилей — еще одно интересное применение ИИ в редактировании изображений. Изучая художественный стиль одного изображения (например, картины) и применяя его к другому изображению (например, фотографии), ИИ может создавать уникальные и творческие версии. Это было бы чрезвычайно трудоемко и сложно сделать вручную, но ИИ может сделать это за секунды.
Генерация изображений
ИИ достиг точки, когда он может генерировать реалистичные изображения на основе текстовых описаний или комбинации существующих изображений. Эта возможность была продемонстрирована такими инструментами, как DALL-E от OpenAI, который может создавать изображения гипотетических существ или объектов, которые не существуют в реальности, основываясь исключительно на текстовых подсказках.
Искусственный интеллект и редактирование изображений прошли долгий путь! Инструмент GANPaint Studio берет естественное изображение определенной категории, например церкви или кухни, и позволяет вносить изменения с помощью кистей, которые не просто рисуют простые штрихи, но фактически рисуют семантически значимые элементы, такие как деревья, кирпичная текстура или купола. Это совместный проект исследователей из MIT CSAIL, IBM Research и MIT-IBM Watson AI Lab.
Основной частью GANPaint Studio, основанной на искусственном интеллекте и редактировании изображений, является нейронная сеть (GAN), которая может создавать собственные изображения определенной категории, например изображения кухни. В предыдущей работе мы проанализировали, какие внутренние части сети отвечают за создание какой функции (проект GANDissect). Это позволило нам изменять изображения что сеть произвела «рисуя» нейроны.
Новшество, которое мы добавили в GANPaint Studio, заключается в том, что естественное изображение (из этой категории) теперь можно импортировать и изменять с помощью семантических кистей, которые создают или удаляют такие элементы, как деревья, кирпичную текстуру или купола. Демо в настоящее время находится в низком разрешении и не идеально, но оно показывает, что нечто подобное возможно. Пожалуйста, посмотрите видео ниже.
Попробуйте демо — GANPaint Studio (SIGGRAPH)
Выполнение семантического редактирования изображения Икс, они делают три шага. (1) сначала вычислить скрытый вектор г = Е (х) представляющий Икс. (2) затем применить операцию семантического векторного пространства яе = редактировать (г) в скрытом пространстве; это может добавить, удалить или изменить семантическую концепцию изображения. (3) Наконец, восстановите изображение из измененного ze. К сожалению, как видно из (б), обычно входное изображение Икс не может быть точно сгенерирован генератором г поэтому (c) использование генератора G для создания отредактированного изображения G(хе) приведет к потере многих атрибутов и деталей исходного изображения (а). Поэтому для создания изображения мы предлагаем новый последний шаг: (г) изучить генератор изображений, специфичный для изображений. Г’ который может производить Икс’е = G′(zе) это соответствует исходному изображению Икс в нередактированных регионах. Фотография из набора данных LSUN.
(появится на SIGGRAPH 2019)
Дэвид Бау, Хендрик Стробелт, Уильям Пиблз, Йонас Вульф, Болей Чжоу, Джун-Ян Чжу, Антонио Торральба
Заключение
Применение искусственного интеллекта в редактировании изображений обширно и постоянно расширяется. По мере того, как алгоритмы ИИ становятся более сложными, они будут предоставлять более точные и эффективные инструменты редактирования. Однако важно также учитывать этические соображения, связанные с некоторыми из этих технологий, особенно в отношении дипфейков и вопросов конфиденциальности. Заглядывая в будущее, цель состоит в том, чтобы ответственно использовать искусственный интеллект для расширения наших творческих возможностей, оптимизации рабочих процессов и исследования новых горизонтов в редактировании изображений.
Цитирование
@article{Bau:Ganpaint:2019,
автор = {Дэвид Бау, Хендрик Стробельт и Уильям Пиблс и
Йонас Вульф, Болей Чжоу и Цзюнь{-}Янь Чжу
и Антонио Торральба},
title = {Семантическая фотоманипуляция с генеративным предшествующим изображением},
журнал = {ACM Transactions on Graphics (Труды ACM SIGGRAPH)},
объем = {38},
число = {4},
год = {2019},
}
https://ganpaint.io/