Генеративное заполнение в Photoshop (бета-версия) Практическое занятие: обзор цифровой фотографии

Нужно что-то особенное, чтобы измученные фотографы воскликнули от искреннего удивления при редактировании фотографий. Возгласы разразились после того, как Adobe недавно выпустила последнюю общедоступную бета-версию Adobe Photoshop с новой функцией генеративной заливки, которая может создавать фотореалистичные объекты, фоны и расширения сцен на существующих фотографиях с использованием технологии генеративного искусственного интеллекта.

https://www.youtube.com/watch?v=aWpfX0qC2PM

Мы видели, как Adobe реализует генеративный ИИ в Adobe Светлячок, веб-инструмент для создания полных синтетических изображений из текстовых подсказок. Генеративное заполнение использует технологию Firefly для более целенаправленного редактирования существующих изображений, что вскоре сделает генеративный искусственный интеллект стандартной функцией Photoshop. (Несколько сторонних плагинов Photoshop, которые связаны с другими системами генеративного ИИ, были доступны некоторое время, например, Альпака и Стабильность ИИ.)

Как работает машина для создания изображений

Система генеративного искусственного интеллекта, такая как Firefly, создаетс полностью оригинальные изображения, основанные на том, что описано в текстовой подсказке. Он не поднимает части существующих изображений и не объединяет их для создания новой композиции. Вместо этого, используя то, что она узнала из миллионов фотографий, система изобретает сцены и объекты, соответствующие тому, что она понимает в тексте. Подсказка, такая как «Старинный автомобиль на дождливой улице ночью», собирает изображение из случайной массы пикселей, чтобы соответствовать тому, что система понимает как «автомобиль», «дождь», «улица» и «ночь». Системы обычно предоставляют несколько вариантов вашей темы.

Генерация изображений в Adobe Firefly только из текстовой подсказки.

Что делать, если у вас уже есть фотография дождливой улицы ночью, и вы хотите добавить в композицию старинный автомобиль? Используя функцию генеративной заливки Photoshop, вы можете выбрать область, в которой вы хотите, чтобы автомобиль появился, и ввести «Старинный автомобиль», чтобы создать его (это также известно как «раскрашивание»). Или вы можете выбрать объекты, которые хотите удалить с изображения, и использовать генеративную заливку без специального текстового запроса, чтобы позволить инструменту определить, как заполнить недостающую область.

Adobe делает этот процесс более удобным для пользователя, чем другие системы генеративного ИИ. У него есть домашнее преимущество, заключающееся в том, что инструмент встроен непосредственно в Photoshop, где Generative Fill имеет чистый и прямой интерфейс. Для сравнения, популярный сервис Midjourney требует, чтобы вы присоединились к серверу Discord, подписались на сервис, вошли в чат, настроенный для получения текстовых подсказок, а затем набрали то, что хотите сгенерировать, используя такие команды, как «Представьте себе старинный автомобиль в дождливую погоду». улица ночью. Ваши результаты отображаются в прокручиваемом обсуждении вместе с изображениями, созданными другими участниками того же чата.

Подход Photoshop дебютирует с новой контекстной панелью задач с такими командами, как «Выбрать тему» ​​или «Удалить фон». Когда вы делаете выделение с помощью любого из инструментов выделения, например, инструмента «Лассо», один параметр в баре это кнопка генеративного заполнения.

Создание выделения в Photoshop с видимой контекстной панелью задач.

При нажатии на эту кнопку открывается текстовое поле, в котором вы можете описать, что должно быть создано в пределах выделения. Или вы можете оставить поле пустым и нажать кнопку «Создать», чтобы Photoshop определил, что будет отображаться, исходя из контекста окружающей сцены.

При нажатии «Генеративное заполнение» отображается поле текстового приглашения.

Как только вы нажмете «Создать», Photoshop создаст три варианта, сгенерированные Firefly, и покажет вам первый. Вы можете переключаться между ними, используя кнопки на контекстной панели задач или щелкая миниатюры на панели свойств. Если ни один из них не выглядит хорошо, вы можете нажать «Создать» еще раз, чтобы получить еще три варианта.

После генерации результата туристы удаляются. Это один из трех вариантов, видимых в виде миниатюр на панели «Свойства».

(Кстати, если вас не устраивает контекстная панель задач, появляющаяся непосредственно под каждым выделенным фрагментом, вы можете перетащить ее в нужное место, затем щелкнуть значок с тремя точками на панели и выбрать в меню «Положение панели задач».)

Все варианты содержатся в новом типе слоя, генеративном слое, который также включает маску для выбранной области. Если применить генеративную заливку к другой области изображения, будет создан новый генеративный слой. Все варианты сохраняются в этих слоях, так что вы можете вернуться и попробовать варианты без разрушения, скрыть или показать слои, установить режим наложения и непрозрачность, а также использовать все другие гибкие атрибуты слоев.

Также обратите внимание, что генеративное заполнение создает результаты с тем же разрешением, что и исходные фотографии. Это отличается от большинства систем, включая Firefly в Интернете, где генерируемые изображения имеют низкое разрешение, обычно 1024 на 1024 пикселя.

Теперь давайте посмотрим, на что способна Генеративная заливка.

Удалить объекты

Обычно, когда вы используете инструменты для удаления ненужных элементов с фотографии, программа пытается заполнить недостающую область, используя пиксели из других частей изображения (см. «Удалить все: использование современного программного обеспечения для удаления надоедливых объектов»). Это становится более трудным, когда область, которую нужно удалить, велика, что приводит к повторяющимся артефактам, которые делают очевидным, что что-то было удалено.

Генеративное заполнение вместо этого смотрит на контекст изображения и пытается создать то, что имело бы смысл на его месте. В приведенных выше примерах, где мы удалили туристов, Photoshop воссоздал линии и цвета зданий и подогнал текстуру земли.

Но вы не можете предполагать, что функция будет работать правильно каждый раз. Возьмите изображение двух людей ниже. Мы можем попытаться удалить одного человека (человека слева), выделив его вокруг него с помощью инструмента «Лассо», чтобы определить область, которую мы хотим заменить, а затем щелкнув «Создать» без ничего в текстовом поле. Как ни странно, в нескольких попытках инструмент предполагал, что мы хотим заменить человека другим, случайным человеком. И это были кошмарные изображения синтетических людей.

Оставив текстовое поле пустым, Photoshop действительно не хотел оставлять человека справа в полном одиночестве и создал несколько устрашающих замен «людей».

Согласно Adobe, нет необходимости вводить команда, такая как «Удалить человека» в качестве подсказки при использовании генеративного заполнения, но, в конце концов, ввод этой подсказки дал нам желаемый результат. Однако обратите внимание, что хотя Photoshop вернул один вариант без человека (см. ниже), он также создал два варианта, в которых все еще были люди.

Возможно, мы можем списать это на то, что функция находится в предварительном выпуске, хотя, скорее всего, она показывает, что, несмотря на объем машинного обучения, программное обеспечение все еще просто делает предположения.

Согласно онлайн-совету Adobe, вам не нужно писать такие команды, как «Удалить человека», но это то, что, наконец, помогло в этом варианте.

Замена предметов и областей

Удаление объектов — это одно, а как насчет замены их чем-то совершенно другим? Генеративное заполнение позволяет создавать вещи, которых никогда не было на исходном изображении. Например, на следующей фотографии мы можем превратить один из десертов в пирог с черникой, выделив малину (слегка расширив область выделения, чтобы выделить текстуру бумаги позади них) и набрав «Черника» в текстовом поле подсказки. . Потребовалось несколько итераций, чтобы найти подходящую, но эта черника выглядит довольно убедительно.

Исходное изображение с выделенной малиной.	Замена малины на переднем плане пирога черникой.

Или как насчет напитков на заднем плане? Вместо холодного кофе мы можем выбрать стакан слева и ввести «Пинта пива» в качестве подсказки. Обратите внимание, что стекло не только немного не в фокусе, чтобы соответствовать глубине резкости того, что оно заменило, но также включает намек на отражение малинового пирога перед ним и кофе сбоку.

Холодный кофе в задней части заменяется пинтой пива.

Добавление произвольных элементов в пустое пространство может быть более удачным или неудачным. Вы получите лучшие результаты, если сделанный вами выбор примерно соответствует размеру и форме элемента в контексте. В этом случае мы нарисовали прямоугольное выделение на переднем плане и набрали подсказку «Собака лежит», после чего Photoshop создал несколько вариантов щенка, из которых нам больше всего понравился тот, что ниже. Угол света и тени совпадают довольно хорошо.

Исходное фото с прямоугольным выделением.

Добавление собаки делает каждую сцену лучше, особенно когда освещение остается постоянным.

В дополнение к замене или добавлению объектов переднего плана, используя Select Subject и инвертируя выбор для выбора фона, мы можем ввести запрос на переопределение всего контекста сцены.

Оригинальное фото с выбранным фоном. Мы расширили выделение на 20 пикселей, чтобы оно включало край автомобиля.	Замена фона на «Снежная дорога».
Замена фона на «Дорога в джунглях».

Генеративное заполнение также можно использовать более хирургическими способами, например, для смены чьей-то одежды. Это тоже может иметь непредсказуемые результаты в зависимости от того, что вы хотите создать. Однако в некоторых случаях визуализированное изображение выглядит нормально.

Оригинальное фото с подборкой одежды по всему.	Применена текстовая подсказка «Серый свитер с высоким воротом».

Имейте в виду, что может потребоваться несколько оперативных запросов и изменений, чтобы получить то, что вы хотите. и люди с истинным чувством моды, вероятно, будут спорить с выбором Photoshop. Ниже вы можете увидеть различные получившиеся наряды.

Не является предметом модного распространения, уверяем вас.

Расширить холст

Другая важная особенность генеративной заливки — это возможность расширять холст и создавать контент за пределами исходного кадра фотографии, также известный как «закрашивание». Используя инструмент «Обрезка» (убедившись, что фоновый слой разблокирован), вы перетаскиваете его, чтобы установить новые размеры изображения. Выберите пустые области и перекройте края существующего изображения в качестве эталона.

Расширьте область обрезки, выберите пустое место и обязательно выберите края исходного изображения.

Как и прежде, вы можете нажать «Генеративная заливка», а затем нажать «Создать» без текстового приглашения, чтобы позволить Photoshop разобраться с этим.

Расширенный результат.

Конечно, если вы расширяете изображение реального места, программа не знает деталей ландшафта; он все еще только делает обоснованные предположения о том, что должно появиться в новых областях. Поэтому, особенно если вы работаете над фотографиями хорошо известного места, не ожидайте точности определения местоположения.

Исходное изображение с расширенной правой стороной.	Фотошоп заполнил недостающую область реалистичным результатом.
На этом более широком плане реальной локации справа нет дерева, а дорожка разветвляется.

Как получить общедоступную бета-версию Photoshop

Функция генеративной заливки появилась в последней общедоступной бета-версии Photoshop 24.6.0, доступной подписчикам Creative Cloud. В приложении Creative Cloud выберите «Бета-приложения» на боковой панели и найдите Photoshop (бета-версия) в списке справа. Щелкните Установить. Бета-версия и окончательная версия Photoshop могут существовать на вашем компьютере одновременно; бета-версия не перезаписывает то, что вы уже установили.

Получите общедоступную бета-версию Photoshop в приложении Creative Cloud.

Предостережений предостаточно, но будущее уже здесь

Поскольку Generative Fill все еще находится в стадии бета-тестирования, некоторые результаты захватывают дух, а другие совершенно абсурдны. Кроме того, вывод еще не предназначен для коммерческого использования, согласно Adobe в примечании к сообщению в блоге, анонсирующем эту функцию: «Отказ от ответственности: генеративное заполнение в приложении Photoshop (бета-версия) доступно для всех участников Creative Cloud с подпиской или пробной версией, включающей Photoshop. Генеративное заполнение в настоящее время недоступно для коммерческого использования, не доступно для лиц моложе 18 лет, недоступно в Китае и работает только с текстовыми подсказками на английском языке».

Также стоит упомянуть, что Генеративные слои могут значительно увеличить размер файла Photoshop (или многослойных TIFF, которые создаются при отправке фотографии из Lightroom). Фотография фургона выше с несколькими вариантами фона заняла 2,67 ГБ в виде многослойного TIFF. Удаление неиспользуемых генеративных слоев и вариантов имеет большое значение или сохранение результата в формате TIFF с удаленными слоями.

Тем временем подписчики Creative Cloud могут изучить возможности бета-версии и оставить отзыв об Adobe. Миниатюра каждого варианта включает в себя меню из трех точек, где вы можете отметить результат как хороший или плохой, удалить вариант или сообщить о потенциальных нарушениях вредоносного или оскорбительного содержания.

И если у вас нет доступа к бета-версии Photoshop, вы можете поиграть с этими функциями в Adobe Светлячок В интернете. Сервис теперь открыт для всех и включает функцию генеративной заливки, которую вы можете применять к загружаемым вами изображениям.