Синтез изображений (image synthesis)

Синтез изображений (image synthesis) - область компьютерной графики и обработки данных, в которой изображения создаются или восстанавливаются на основе математических, физических или обучаемых моделей объектов, сцен, света и визуального восприятия.

Что означает термин

Синтез изображений охватывает как физически обоснованное построение изображения по описанию трёхмерной сцены, так и создание новых изображений с помощью моделей, обученных на визуальных данных. Поэтому термин не ограничивается только классическим рендерингом или генеративным искусственным интеллектом.

Генеративные модели извлекают из обучающих данных визуальные закономерности и признаки, а затем создают изображения, сходные с примерами из набора. Такие модели могут также формировать новые ракурсы существующих сцен или восстанавливать изображения.

Как устроено

При синтезе изображения трёхмерной сцены моделируется перенос света в сцене. Рассчитанные значения излучения преобразуются в изображение с учётом характеристик устройства отображения и особенностей зрительного восприятия.

В обучаемых системах глубокие нейронные сети преобразуют входные данные в изображение. Например, в генеративной состязательной сети генератор создаёт изображение из случайного или низкоразмерного вектора, а дискриминатор оценивает его сходство с данными реального происхождения. Для синтеза цифрового человека дополнительно моделируются внешность, мимика, движения и взаимодействие с окружением.

Где применяется

Синтез изображений используется для построения фотореалистичных изображений трёхмерных сцен, создания новых ракурсов крупных и сложных сцен, формирования виртуальных сред в компьютерных играх и развлечениях.

Методы также применяются для создания синтетических медицинских изображений в диагностике и обучении, а также для формирования цифровых персонажей с реалистичной мимикой и движениями. Высокая реалистичность синтетических изображений может использоваться для создания дипфейков и материалов, которые трудно отличить от реальных данных.

Отличие от близких понятий

Синтез изображений направлен на создание изображения или нового визуального представления на основе модели сцены, объекта либо закономерностей, извлечённых из данных. Обработка изображений может восстанавливать или улучшать входное изображение, но современные глубокие сети способны совмещать такую обработку с созданием новых изображений и ракурсов, поэтому граница между понятиями не всегда однозначна.

Физически реалистичный синтез требует моделирования освещения и значительных вычислений. Результат генеративной модели может быть похож на обучающие данные, но это сходство само по себе не подтверждает фактическую достоверность изображённого объекта или события.