Mapi es algo más que un programa de preguntas y respuestas, Mapi es un personaje 3D de realidad aumentada creado por Iralta Virtual Production con tecnología de producción virtual multicámara en colaboración con Mediacrest y RTVE.
Mapi se emite en el access prime time de la Primera cadena de RTVE y es la adaptación del revolucionario y éxitoso programa de la televisión pública japonesa NHK Chiko’s Challenge. Adaptar el programa japonés de formato semanal Chiko Challenge y su flujo de trabajo, a las necesidades de un formato diario ha sido todo un reto tecnológico y artístico.
El reto fue crear un personaje 3D que pudiera hacer lo mismo que un actor de carne y hueso, un personaje híbrido mitad humano y mitad 3D que interactúase con el resto de actores, concursantes y objetos reales.
El modelo 3D del personaje se posiciona en el espacio virtual gracias a un sistema Mosys de tracking instalado en las cámaras y en la actriz y esto nos permite saber el lugar que ocupa el personaje en el plato físico y virtual.
La captura facial con Faceware traslada los gestos de la actriz al modelo 3D en tiempo real utilizando tecnología “machine learning”, el software de captura facial aprende en cada programa cómo mejorar la expresividad de Mapi.
En esta producción virtual AR integramos gracias a Unreal, el motor de render en tiempo real, las señales de video de 4 cámaras, la iluminación del plató y los videos de las pantallas para mejorar la integración del personaje virtual 3D en el escenario real y así aumentar el realismo.
La integración del personaje 3D sobre la imagen real, se ha desarrollado para que el equipo de realización pueda disponer en tiempo real de la imagen de Mapi 3D en 4 cámaras y así poder “pinchar” la señal que quieran el director y el realizador del programa.
El flujo de trabajo diseñado para este proyecto de producción virtual nos ha permitido producir más de 5.400 minutos de contenidos AR en tiempo real sin necesidad de postproducción offline de los contenidos 3D.
Esta nueva manera de producir contenidos de animación 3D y VFX y animación cambia totalmente el patrón establecido desde años donde la postproducción era algo que se hacía posterior a la grabación. Gracias a la producción virtual, la postproducción y la animación ocurren en tiempo real y en paralelo al rodaje por lo que el resto de actores pueden interactuar en directo con los elementos del decorado y los personajes 3D.
