Le tournage d'une scène dans un film peut nécessiter des dizaines de prises, parfois plus. Dans Gone Girl, le réalisateur David Fincher aurait en moyenne 50 prises par scène. Pour les acteurs du réseau social, Rooney Mara et Jesse Eisenberg ont joué 99 fois la scène d'ouverture (à nouveau dirigée par Fincher; apparemment, il est notoire pour cela). The Shining impliqué de Stanley Kubrick: 127 prises de la scène infâme où Wendy monte l'escalier en brandissant une batte de baseball chez Jack, largement considéré comme le plus pris par scène de tous les films de l'histoire.
Un nouveau logiciel, développé par Disney Research en collaboration avec l’Université de Surrey, pourrait aider à réduire le nombre de prises nécessaires, permettant ainsi d’économiser du temps et de l’argent. FaceDirector mélange les images de plusieurs prises, ce qui permet d'éditer des émotions précises sur le visage des acteurs.
«Produire un film peut coûter très cher, le but de ce projet était donc de rendre le processus plus efficace», explique Derek Bradley, informaticien chez Disney Research à Zurich, qui a contribué au développement du logiciel.
Disney Research est un groupe international de laboratoires de recherche axés sur les types d'innovation pouvant être utiles à Disney. Ses sites sont situés à Los Angeles, Pittsburgh, Boston et Zurich. Parmi les projets récents, citons un robot grimpant aux murs, un «livre de coloriage de réalité augmentée» où les enfants peuvent colorier une image qui devient un personnage 3D en mouvement sur une application, ainsi qu'un gilet pour enfants qui procure des sensations telles que des vibrations ou la sensation de gouttes de pluie. scènes de contes. L'équipe derrière FaceDirector a travaillé sur le projet pendant environ un an, avant de présenter ses recherches à la Conférence internationale sur la vision par ordinateur à Santiago du Chili en décembre dernier.
Trouver le moyen de synchroniser différentes prises était l’objectif principal du projet et son plus grand défi. Les acteurs peuvent avoir la tête penchée sous différents angles, prise d'une voix à l'autre, parler dans des tons différents ou faire une pause à des moments différents. Pour résoudre ce problème, l'équipe a créé un programme qui analyse les expressions faciales et les signaux audio. Les expressions faciales sont suivies en cartographiant les points de repère du visage, tels que les coins des yeux et de la bouche. Le programme détermine ensuite quels cadres peuvent s’intégrer les uns aux autres, comme des pièces de puzzle. Chaque pièce du puzzle ayant plusieurs partenaires, un réalisateur ou un éditeur peut alors choisir la meilleure combinaison pour créer l'expression du visage souhaitée.
Pour créer du matériel d'expérimentation, l'équipe a fait venir un groupe d'étudiants de l'Université des arts de Zurich. Les élèves ont interprété plusieurs dialogues inventés, faisant chaque fois des expressions faciales différentes: heureux, énervé, excité, etc. L’équipe a ensuite été en mesure d’utiliser le logiciel pour créer un certain nombre de combinaisons d’expressions faciales exprimant des émotions plus nuancées - tristes et un peu en colère, excitées mais craintives, etc. Ils ont pu associer plusieurs prises, par exemple une peur et une neutre, pour créer des émotions montantes et descendantes.
L'équipe FaceDirector ne sait pas quand et comment le logiciel pourrait devenir disponible dans le commerce. Le produit fonctionne toujours mieux lorsqu'il est utilisé avec des scènes filmées assis devant un fond statique. Les acteurs en mouvement et les paysages extérieurs en mouvement (penser aux arbres qui balancent, aux voitures qui passent) représentent plus un défi pour la synchronisation.
