Mass Effect Andromeda y los problemas de la animación facial
Generación Nexus.
Podría haber sido cualquier otro. Habla con cualquier desarrollador de videojuegos sobre los vídeos de Mass Effect Andromeda publicados estas últimas dos semanas en los que la gente se mofa de sus escenas con diálogos y verás como todos miran al infinito. Esa mirada que verías en un soldado que acaba de salir ileso de un bombardeo a pocos metros. Muchos de los dramáticos problemas de Andromeda son comunes a los juegos con mucha narrativa, y todos los desarrolladores saber que podrían haber sido también víctima de los injustificables ataques que han sufrido los trabajadores de BioWare y Electronic Arts.
Por ejemplo, a continuación tenéis lo que dijo en Twitter Jonathan Cooper, un artista de Naughty Dog que trabajó en el primer Mass Effect, y que hizo énfasis en la presión de las expectativas actuales y la relación coste-beneficio de Andromeda.
La animación facial y los diálogos son complicados. En ellos interviene el talento, la experiencia y la tecnología perteneciente a diferentes disciplinas. Los ingenieros gráficos crean los shaders para la piel y los ojos, y también entren el juego artistas de iluminación, guionistas, modeladores 3D, actores de doblaje y, obviamente, animadores. Y todos operan en el subjetivo y cambiante mundo del drama y la emoción, enfrentándose a unas expectativas que cada vez son más grandes.
Lo que ayer era puntero hoy es prácticamente basura, y los personajes de los videojuegos se encuentran actualmente en un difícil punto en su viaje a través del valle inquietante. Las caras a veces pueden resultar increíblemente reales (más de una vez me han preguntado si estaba mirando una serie en las escenas cinemáticas de Horizon: Zero Dawn), pero como demuestra Andromeda una pausa extraña o un súbito gesto a destiempo puede deshacer el efecto en el que se han destinado horas de cuidadoso trabajo, reducidas a un gif de unos segundos.
Andromeda se balancea en la fina línea del valle inquietante. Es un juego muchísimo más ambicioso que los anteriores Mass Effect, con más líneas de diálogo que Mass Effect 2 y 3 juntos (como dato, Mass Effect tenía 40.000 líneas). Y Andromeda tiene 1.200 personajes que hablan, el doble que en Mass Effect 3.
Eso es un montón de animación facial. Y, no lo olvidemos, esas líneas se doblan en diferentes lenguajes, como inglés, francés o alemán. En definitiva, es una extraordinaria cantidad de trabajo, mucha más de la que BioWare pudiese haberse enfrentado antes con un Mass Effect.
Andromeda es un juego muchísimo más ambicioso que los anteriores Mass Effect, con más líneas de diálogo que Mass Effect 2 y 3 juntos.
El trabajo empieza esculpiendo y haciendo el rigging de los personajes. El rigging es el proceso en el que se articula el esqueleto de un personaje 3D, proporcionando los ejes para el movimiento en cada articulación, permitiendo que una pierna sea una pierda y un dedo un dedo. Para que os hagáis una idea del trabajo que supone hacer el rigging del personaje principal de un juego, Crystal Dynamics tardó todo un mes en hacer el rig de Lara Croft para el reboot de 2013 de Tomb Raider.
Pero los cuerpos son una cosa, y las caras otra. Las sutiles expresiones faciales son el resultado de muchos 'huesos' que se mueven en la malla de la cara. Hace cinco años una cara se componía normalmente de treinta o cincuenta huesos, pero eso limitaba su realismo. Actualmente los motores gráficos manejan muchísimos más; una cara como la de Nathan Drake en Uncharted 4 se compone de entre 300 y 500 huesos, y puede tener entre doscientas y cuatrocientas capas para permitir una transición suave entre las diferentes expresiones faciales.
A estos rigs se les da vida con los datos de animación, y para muchas escenas cinemáticas actuales se recurre a la captura de movimientos. David Barton, el productor en la empresa especialista en captura de movimientos Cubic Motion, explica que los rigs basados en scans son cada vez más comunes. En ellos, se toman capturas detalladas de la cara de un actor en setenta u ochenta expresiones diferentes.
Cubic Motion, que trabajó en la captura de movimientos de las cinemáticas de Horizon: Zero Dawn, produce unos algoritmos que denominan solvers, los cuales toman esos datos de captura de movimientos y los utiliza para interpretar sutiles y muy precisas animaciones faciales. "Puede coger una sonrisa y repartirla en diez controles diferentes en el rig, y nuestra tecnología lo que hace es tomar la interpretación del actor y generar un solver para cada uno de esos controles y así crear la animación".
Si quieres ir más allá puedes animar los wrinkle maps, los cuales simulan cómo se arruga la piel, y los diffuse maps, los cuales simulan el movimiento de la sangre bajo la piel. "Es lo que siempre intentamos hacer", explica Barton.
Andromeda usa la tecnología FaceFX de OC3 Entertainment, utilizada también en otros títulos triple A como The Division, Fallout 4 o Batman: Arkham Knight.
El tamaño de Andromeda, por el número de personajes y por la cantidad de diálogos, más el hecho de que Ryder es totalmente personalizable, hace que mucho de esto no sea posible. Para juegos como él, o como The Witcher 3 u Horizon: Zero Dawn, la automatización es la respuesta a este problema.
Andromeda usa tecnología de OC3 Entertainment, la creadora de FaceFX, un middleware que usa los ficheros de sonido para crear animaciones de labios y caras en los modelos 3D. Se utiliza en multitud de juegos, como The Division, Fallout 4, Batman: Arkham Knight y muchos otros títulos triple A, y se basa en crear un conjunto de poses para formas de fonemas, la pose básica de los labios cuando decimos sílabas cosas como Oh o Ah o Mm, y luego se aplican al sonido del diálogo que se ha grabado.
CD Projekt RED usa una tecnología similar para las treinta y cinco horas de diálogos de The Witcher 3 y una herramienta interna que también añade los movimientos del cuerpo y de la cámara a la mezcla. Es difícil compararlo con Andromeda, porque BioWare no ha mostrado sus herramientas, pero las escenas con diálogos de The Witcher 3 se beneficiaron gracias a esa política por la cual la animación generada solo era el punto inicial. Partiendo de la base de que es más fácil modificar que empezar de cero, los animadores podían tomar las escenas generadas para modificarlas libremente, colocando gestos incidentales y nuevos ángulos de cámara, moviendo incluso la posición de los personajes y sus poses. A continuación podéis ver una demostración técnica que mostró el director técnico Piotr Tomsiński en la GDC del año pasado:
Pero hay más factores en la ecuación. Buena parte de la animación omite los pequeños tics de los ojos, las expresiones y la cabeza que realmente nos hacen humanos. "Los humanos se mueven como un insecto, de forma nerviosa y súper irregular", explica el co-fundador de Ninja Theory, Tameem Antoniades. "Hay una cantidad casi imperceptible de ruido en los seres humanos que debe estar siempre ahí, de lo contrario no crees que sea real".
En un mundo ideal nadie usaría tecnología generativa para la animación facial. Y ese ideal se está convirtiendo cada vez más en una realidad.
Un juego reciente que muestra lo efectivo que es esto es Horizon: Zero Dawn, donde los ojos de Aloy se mueven continuamente para dar la sensación de que están vivos. Los ojos muertos son uno de los mayores problemas para los personajes de videojuegos, porque es donde solemos centrar nuestra atención. Los movimientos nerviosos ayudan, lo mismo que garantizar que convergen en el objeto al que se supone que se está mirando.
Y luego están los problemas gráficos. Un buen ojo necesita shaders que imiten la forma en que lo cubren los fluidos y la forma en que la luz se refracta entre la superficie y el iris. Y una buena cara necesita también una buena iluminación. Aquí Andromeda se enfrenta a un problema complicado: como el motor, Frostbite, ilumina de forma dinámica su mundo, a menudo te encontrarás conversando en un lugar con poca iluminación, y eso hace que los personajes parezcan planos. Por alguna razón BioWare no coloca las fuentes de luz en las escenas con diálogos de Andromeda del mismo modo que en los anteriores Mass Effect, y tampoco de la misma forma que Guerrilla en Horizon.
En un mundo ideal nadie usaría tecnología generativa para la animación facial. Lo sentimos, FaceFX. Y ese ideal se está convirtiendo cada vez más en una realidad.
Unos pioneros en este campo son Ninja Theory, cuyo catálogo de juegos representa casi a la perfección la historia de esta tecnología. Heavenly Sword, publicado en 2007, fue uno de los primeros juegos basados en captura de movimientos, pero sus animaciones fueron retocadas profundamente por los artistas de WETA antes de añadirse al juego. Enslaved, de 2010, se construyó con el solver facial propio de Ninja Theory, el cual según Antoniades les hizo entre el 80% y el 90% del trabajo. "El resultado seguía estando en el valle inquietante; necesitas que un artista venga y te diga 'no, esto es lo que quiere mostrar el actor, esta es la intención'".
En 2013 DmC usó ese mismo solver, pero la captura no se hizo con las típicas bolas de ping-pong marcadoras en el cuerpo para el tracking de la cámara, sino con visión completa por computador, lo cual reduce el tiempo de preparación y abre el espacio físico para la interpretación. Ahora, en Hellblade, usan el solver de Cubic Motion y una cámara montada en la cabeza del actor de una compañía llamada Technoprops, la cual captura la cara del actor desde cien ángulos, así como un rig facial de otra compañía, 3Lateral. "Hacen los mejores rigs faciales en tiempo real de la industria", asegura Antoniades. Este proceso les da el 95% de la animación facial; Cubic Motion trabaja un poco con esos datos y Ninja Theory rara vez tiene que retocarlos.
El proceso está tan coordinado que Ninja Theory hizo una demostración de la técnica en directo en el escenario de la conferencia de gráficos por ordenador Siggraph del año pasado, animando directamente desde una actuación al Unreal Engine 4, y ganó el premio a los mejores gráficos e interactividad en tiempo real.
Es demasiado fácil fijarse en los mejores ejemplos de otros juegos y esperar que Andromeda iguale su nivel en todos los aspectos. Cuando consideras que la cantidad de horas de diálogo que tiene un juego tan enorme como Andromeda son el resultado de tantos factores, puedes apreciar el reto que supone hacer que cada segundo sea perfecto.
Hellblade no tiene ni de lejos el volumen de diálogo de Mass Effect, pero muestra que capturar animación limpia y detallada directamente de la cara del actor de doblaje mientras interpreta su papel es algo viable. Significa que los desarrolladores se ahorrarán mucho respecto ahora, y es posible que incluso puedan invertir más en la interpretación original, al conseguir la toma correcta y poder pedir más a los actores.
Es demasiado fácil, sin embargo, fijarse en los mejores ejemplos de otros juegos y esperar que Andromeda iguale su nivel en todos los aspectos. Cuando consideras que la cantidad de horas de diálogo que tiene un juego tan enorme como Andromeda son el resultado de tantos factores, puedes apreciar el reto que supone hacer que cada segundo sea perfecto, especialmente cuando la animación compite por conseguir presupuesto contra otros apartados del juego, desde los sistemas de combate hasta la creación de niveles.
Aún así, para un juego sobre relaciones quizás no esté totalmente fuera de lugar esperar mejores representaciones de sus personajes. Poco a poco la tecnología va mejorando, y es posible, tal y como apuntaba Jonathan Cooper, que Andromeda sea el momento en el cual todos nos demos cuenta de la importancia de la animación en el presupuesto general de un juego. Todos salimos beneficiados cuando pasamos tiempo con personajes de videojuego que se comportan con una sutileza natural. Porque cuando jugamos con gente, los juegos cobran vida.
Traducción por Josep Maria Sempere.