virtperson.net

Чтобы создать 3D аватар человека в настоящее время есть несколько различных вариантов. Iclone Программа Iclone позволяет взять фотографию лица человека в анфас и приклеить его лицо к 3D персонажу. В версии Iclone 5 это поддерживалось из коробки, в новых версиях придется использовать плагин Headshot и программу Character Creator от Reallusion. Созданные в Iclone персонажи более походят на героев игр, или 3D фильмов чем на обычных людей. Прямо в Iclone можно создавать анимации движения персонажей, в том числе и с анимацией губ по звуковым файлам. Можно также с помощью плагинов помещать созданных персонажей в Unreal Engine. Deepfake Технологии Deepfake также известные как FaceWrap основаны на замене лица одного человека лицом другого человека с помощью нейросетей. Требуют достаточно большой вычислительной мощности. Берутся два видео, программно разбиваются на кадры и лицо в одном видео заменяется на лицо в другом. Получается очень фотореалистично, но к сожалению пока не работает в реалтайме на слабых устройствах. Зато с помощью данной технологии можно создать фотореалистичные анимации для аватара, использовав похожего на него актера и поменяв ему лицо на требуемое. Заранее записанные видео Человек который хочет создать своего 3D Аватара может заранее записать много видеофайлов где он делает различные действия - говорит что-то, стоит, сидит, идёт, машет рукой и так далее. Если файлов будет достаточно много это можно использовать в различных сценариях поведения аватара просто заменяя фон на имеющихся видео. При создании видео желательно прменять технологию хромакей (но, учитывая растущую мощь нейросетей для удаления фона с видео это необязательно). Нейросети генерирующие видео по фото Сейчас начинают появляться нейросети которые могут оживлять изображение человека с фото, так что он может двигаться как угодно. Это наиболее перспективное направление создания 3D аватаров.