Animations faciales en temps réel avec Ninja Theory et Epic Games

Nin­ja The­o­ry (NT) est une société spé­cial­isée dans le développe­ment de jeux vidéos. Ce sont les développeurs du jeu “Hell­Blade”.

Ces derniers nous pro­posent une série de vidéo représen­tant un mak­ing of de leur dernière pro­duc­tion. Même s’il s’agit d’une petite équipe com­posée de 16 per­son­nes, ce qu’ils ont réal­isé est assez extra­or­di­naire — plus pré­cisé­ment c’est ce work­flow com­bi­nant plusieurs tech­nolo­gies et com­pé­tences autour de NG, Epic Games, 3Lateral (char­ac­ter design), Cubic motion (facial track­ing), Ikine­ma (motion cap­ture) et Xsens (com­bi­nai­son de mocap).

3Lateral, c’était eux qui avait par­ticipé à la con­cep­tion du gamin dans la démo de l’enfant et du cerf-volant présen­tée à la GDC 2015 dans le cadre des Open Worlds. Leur com­pé­tence: du con­cept du per­son­nage au rig­ging, en pas­sant par le scan facial. Ils ont tra­vail­lé de con­cert avec Cubic Motion pour le facial Track­ing.  Epic avait déjà col­laboré avec plusieurs sociétés sur 3Lateral, pour le pro­jet Paragon, c’est encore le cas. Naturelle­ment, toutes les tech­nolo­gies de base des mod­èles de Epic Paragon devaient être trans­férés et ajoutés à la plate-forme 3Lateral.

La tech­nolo­gie de Motion cubique, société de Man­ches­ter, peut suiv­re plus de 200 traits du vis­age à 90 images par sec­onde et mappe automa­tique­ment ces don­nées en haute qual­ité et en temps réel. (Au GDC, le sys­tème fonc­tion­nait à 30fps pour les démos).

La vidéo suiv­ante nous mon­tre un sys­tème per­me­t­tant de repro­duire en “direct” les mim­iques du vis­age d’une per­son­ne sur un per­son­nage ani­mé, comme on peut le voir sur la vidéo suiv­ante:

Cette facil­ité va devenir la norme dans les jeux vidéos, les ani­ma­tions, …

Toutes ces expres­sions “faciales”, une cen­taine, sont ain­si stock­ées et peu­vent être réu­til­isées, com­binées à loisir. Cela a pris une journée com­plète pour tout scan­ner.  Ce n’est pas comme juste filmer une scène.

L’équipe de Epic tra­vail­lait déjà sur un matériel de démon­stra­tion pour le jeu Paragon et avait ain­si mis en place de nou­veaux out­ils dont nous avons par­lé pour la dernière ver­sion de Unre­al Engine,  mais il n’y avait tou­jours pas d’outils en temps-réel.

ninja2

Par­mi tous les élé­ments tra­vail­lés, il y a la sépa­ra­tion de l’ombrage spécu­laire de l’ombrage dif­fus pour un con­trôle plus isolé,  une micro carte détail­lée sur la peau avec rides pour pro­duire une peau cor­recte avec des détails fins. La ges­tion des nor­males a été bien améliorée aus­si.

La per­for­mance était non seule­ment en live, mais aus­si enreg­istrée et mixée (image dans l’image). Comme il y avait 1 275 mil­li-sec­on­des  de décalage entre l’interprète et la visu­al­i­sa­tion sur le pro­jecteur, il a donc fal­lu met­tre en place des retards audio pour main­tenir la syn­chro­ni­sa­tion des lèvres ! Ben oui, ce serait con sinon !

NT a égale­ment conçu une exten­sion pour UE4 pour l’éclairage Vol­umetrique.

Le mod­èle Meli­na a été scan­né sous toutes les cou­tures, jusqu’aux détails de sa peau et elle est par­faite ! 🙂

Bon, dans la vidéo, ils pré­cisent bien que la salle de scan restera con­fi­den­tielle, mais méli­na nous dit avoir l’impression d’être ren­trée dans un vais­seau spa­tial.

Un coup d’oeil der­rière la mocap régulière mis en place pour Hell­balde .

La taille du stu­dio n’est pas très grande:  besoin de 2 tech­ni­ciens, du met­teur en scène et de l’actrice.

Pour la mocap, ils utilisent le Vicon Boni­ta motion cap­ture sys­tem qui est l’un des moins cher sur le marché. Pourquoi par­lent-ils d’Xsens, c’est une bonne ques­tion…

Ce qui est bluffant, c’est la par­tie enreg­istrements sonores: pour ne pas explos­er le bud­get, ils utilisent des rideaux épais pour éviter la réver­béra­tion des sons ! Pour éviter de pro­duire des bruits en marchant: de gros tapis bien épais !
Le casque a été réal­isé par Techno­props: on peut l’équiper de 1 à 4 caméras, 2 étant un bon com­pro­mis entre qual­ité et poids pour l’actrice.

Pour en savoir plus: https://www.fxguide.com/featured/epic-face-work-with-ninja-theory/

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.