Удивительно, чего можно добиться с помощью правильного motion capture софта и обычного Kinect!
 

Видимо, прошли те времена, когда для захвата движений приходилось обклеивать человека десятками датчиков. Анимационный пакет Faceshift использует для распознавания движений мимических мышц камеру самого обычного Kinect.

Взгляните на результат: если задержка на обработку данных и имеет место, то она почти незаметна!

Еще больше поражает точность переноса движений с живого человека на 3D-модель. По качеству это не уступает анимации из L.A. Noire, но там разработчики потратили намного больше сил и времени.

А с помощью Faceshift данные обрабатываются почти мгновенно, и 3D-голова с удивительной точностью повторяет за человеком все его движения. На видео один из разработчиков рассказывает о возможностях программы, а 3D-модель повторяет все жвижения так точно, что по её губам можно прочитать, что именно говорит человек.

Разработчики пакета уверены, что Faceshift станет очень популярен у разработчиков игр и аниматоров. Возможны и другие пути использования новой технологии – например, для создания анимированных 3D-аватаров, которыми пользователь мог бы «прикрываться» при видеозвонках.

Похожая технология под названием SOEmote есть у Sony, и она используется в EverQuest 2.

Источник: theverge.com