¿Significa esta avanzada captura de movimiento facial el fin de la confianza en los videos online? No necesariamente, pero es impresionante por su rapidez y realismo.
Con solo una sonrisa, una webcam y una buena tarjeta gráfica, cualquiera puede hacer sonreír a Vladimir Putin. Investigadores de la Universidad de Erlangen-Núremberg, el Instituto Max Planck de Informática y la Universidad de Stanford han creado Face2Face, un sistema de captura facial fotorrealista en tiempo real usando equipo doméstico común.
Algunos lo ven como una amenaza para la validez de los videos como prueba. Otros quedan impresionados: la demo es asombrosa. En su publicación de marzo de 2016, muestran cómo un actor en vivo transfiere expresiones a clips de YouTube de Putin. Sonrisas, gestos de boca... todo se replica simultáneamente y parece auténtico.
Captura de movimiento y recreación
La captura de movimiento (mocap) convierte gestos reales en datos digitales para aplicarlos a modelos virtuales. Usada en cine para animar personajes como Gollum o rejuvenecer a Brad Pitt en Benjamin Button, Face2Face adapta esto a videos reales RGB pregrabados, sin necesidad de cámaras especializadas como RGB-D (ej. Kinect).
Otras técnicas funcionan con RGB, pero no en tiempo real. Face2Face sí lo hace.
En la imagen, el actor fuente (en vivo) y Putin (de clip) se sincronizan perfectamente en tiempo real.
En menos de un parpadeo
Justus Thies, coautor e instructor en Erlangen-Núremberg, explica: el software modela caras analizando solo seis fotogramas de la fuente (webcam) y objetivo (video). Ajusta modelos 3D sintéticos y transfiere deformaciones faciales con una técnica innovadora.
Funciona a 28 fotogramas por segundo (0,04 seg por frame), renderizando el video destino con el rostro deformado. Analiza cada píxel facial, no solo puntos clave, gracias a GPUs modernas.
Más allá del cine
Posibles usos: expresiones realistas en CG para Hollywood, correcciones actorales, doblaje sincronizado. También avatares en videojuegos, teleconferencias con labios traducidos o detección de fraudes comparando expresiones.
El proyecto continúa. Por ahora, manipula videos realísticamente, pero sin audio simulado igual de convincente, los videos siguen siendo fiables como prueba.