El mundo ha cambiado, eso no tiene ningún tipo de discusión. Ahora la pregunta es, ¿cómo nos afectará ese cambio en el sector audiovisual? ¿Qué surgirá de esta nueva situación?

En este artículo quiero repasar todo lo aprendido en estos últimos meses, en los que hemos trabajado muy duro internamente para evaluar la situación, mejorar todos aquellos aspectos y procesos que la vorágine del día a día no nos permitía hacer, y alinearnos con la nueva normalidad que ahora nos obliga a reinventarnos en el sector audiovisual.

Desde hace algunos años, sobre todo gracias al desarrollo tecnológico que han desarrollado empresas como Nvidia o AMD a nivel de Hardware, el sector audiovisual está desarrollando una auténtica revolución que, casualmente, aprovechando el parón pandémico, ha tenido su punto culmen durante los últimos meses.

El potencial de las nuevas tarjetas gráficas y el desarrollo de software de empresas como Disguise, 10bit FX Limited, o Epic Games, están haciendo que el sueño de los que nos dedicamos a esto, se haga realidad. Poder trabajar en nuestros proyectos en tiempo real, el famoso WYSIWYG, What You See Is What You Gety reducir notablemente los tiempos de renderizado.

Obviamente esto no implica que ahora, de la noche a la mañana, el pipeline de los proyectos audiovisuales haya cambiado y nos olvidemos de la calidad que pueden darnos otros motores de render como Octane y Redshift.... Al contrario, cada una de las aplicaciones de estos motores tiene su papel, y como siempre, la necesidad del tipo de producto final determinará qué herramientas utilizar.

Pero estas nuevas herramientas, como Unreal Engine o Notch, han llegado para que ahora podamos ofrecer nuevos servicios centrados en la creación de mundos virtuales y la incrustación de personajes en ellos. Servicios que pueden ir desde un evento híbrido o virtual hasta grabaciones para producciones cinematográficas, series o videojuegos.

Después de la “breve” introducción, quiero definir los diferentes puntos en los que nos hemos focalizado durante estos meses y se han convertido en servicios que ya ofrecemos a nuestros clientes.

Virtual Production o XR

La Producción Virtual o xR son términos muy amplios que se enfocan en aportar soluciones a como entendemos la producción audiovisual en todas sus vertientes. Digamos que es un tipo de producción en la que el mundo físico y real se encuentran combinando la realidad virtual, la realidad aumentada y el CGI, lo que nos permite ver cómo se desarrollan nuestras escenas en tiempo real mientras se componen y capturan en un plató.

Resumiendo, se trata de la creación de escenarios virtuales en las cuales podemos incrustar personas u objetos mediante la utilización de pantallas de LED, dejando a un lado la pantalla verde y sus altos costes en postproducción.Esta nueva solución tecnológica ha sido implementada principalmente gracias a Epic Games, mediante su motor de videojuegos Unreal Engine.

Por otro lado, el término xR, o realidad extendida, ha sido creado por Disguise.xR viene a ser la solución tecnológica focalizada en crear un workflow entre el traking de camaras,indispensable para este tipo de proyectos, y la creación de contenido en tiempo real,de forma relativamente “fácil y sencilla” .

Por último, no podemos olvidar la generación de contenidos, ya que para que todo esto ocurra necesitamos que nuestros entornos se rendericen en tiempo real.

Gracias a Unreal Engine o Notch,conseguimos que la cámara física que está siendo trackeada en nuestro set, se sincronice con la cámara 3D que esta dentro de nuestro mundo virtual. Esa conjunción de mundos virtual y real, ocurre gracias a las pantallas Led,las cuales renderizan tanto el contenido real como aumentado mediante herramientas como Ndisplay de Unreal Engine, o la solución xR de Disguise.

Las principales ventajas de este proceso son:

  • Alternativa al tradicional sistema de chroma.
  • Luces y sombras reales sobre nuestros actores u objetos sin franjas verdes.
  • Reflexiones reales sobre nuestro ponente u objeto.
  • Reducción de las necesidades de rotoscopia o Keying en posproducción.
  • Interacción y visualización directa de actores y presentadores con el contenido.

Para desarrollar este tipo de producción necesitamos un sistema de tracking.Actualmente nosotros estamos trabajando con la solución de Mosys, pero existen muchas mas como Stype, por ejemplo. Además, todo este proceso también se puede realizar con los sistemas de tranking de HTC Vive,los cuales aportan una solución más económica.

En estos momentos, en Framemov estamos trabajando en varios proyectos aplicando esta tecnología y se empiezan a convertir en los principales servicios que ofrecemos.

Servicios XR

Eventos virtuales

Grabaciones en las cuales incrustamos a los presentadores y ponentes en un entorno 3d. Recreamos eventos en vivo igual que antes de la pandemia. Incluimos pantallas de led en las cuales podemos insertar cualquier tipo de contenido y hacemos montajes de iluminación que pueden ser controlados por técnicos de iluminación. La grabación final puede ser emitida en directo mediante streaming teniendo un producto final completo que aporta un alto grado de innovación al evento. Virtualizamos portavoces u objetos mediante realidades aumentadas las cuales interactúan con el presentador en tiempo real. Además, contamos con el sistema de captura de movimiento de Blacktrax los cuales nos permiten traquear perfectamente todo el movimiento de la persona en el set.

Grabaciones de eventos híbridos

Un evento híbrido es una feria, conferencia, unconferencia, seminario, taller u otra reunión que combina un evento "en vivo" en persona con un componente "virtual" en línea. Con la creciente popularidad y rentabilidad de los eventos virtuales, los eventos híbridos se han convertido en una forma popular de aumentar la participación en eventos tradicionales a un coste relativamente bajo. También permiten la participación de personas que no pueden asistir físicamente debido a limitaciones de viaje o de zona horaria o por el deseo de reducir la huella de carbono del evento. Con la realidad aumentada, se puede añadir más interés al evento, o centrar la atención en temas específicos, datos o cualquier tipo de objeto 3D.

Grabaciones cinematográficas, producción televisiva y cine.

Mediante la utilización del sistema de producción virtual creamos entornos virtuales que pueden ser modificados en tiempo real según las necesidades de la producción. Cambios de iluminación, rotaciones del espacio, aplicación de efectos CGI en tiempo real. Un set de efectos visuales en directo que interactúa directamente con las personas u objetos de la escena.

Streaming musicales, videoclips o sesiones vj

En julio de 2020, celebramos un festival de música electrónica en Framemov centrado en buscar una salida a la situación actual de las salas, los festivales y los artistas musicales y visuales. Generamos un escenario virtual en el que tocaron DJ's y VJ's. Todo el escenario podía modificarse en directo a través de Unreal Engine como si fuera un escenario real. En las pantallas, los VJ's podían controlar los visuales conectando Resolume, Madmapper o VDMX. La iluminación fue controlada por el sistema DMX. Puedes ver el resultado a continuación.

.

Cinemáticas para videojuegos.

Gracias a Gracias Unreal Engine hemos comenzado a crear cinemáticas para empresas de videojuegos.En ellas, desarrollamos todo el proceso de grabación de actores y personajes mediante la utilización de trajes de captura de movimientos, mocap, de empresas como Xsens, Perception Neuron, o o Rokoko.Mediante el sistema de tracking podemos grabar a estos personajes 3D en tiempo real como si realmente estuviéramos en un set de grabación, viendo en directo el resultado final.

Por Jorge Escobar, CEO y Director Creativo en Framemov