El mundo ha cambiado, eso no tiene ningún tipo de discusión. Ahora la pregunta es, ¿cómo nos afectará ese cambio en el sector audiovisual?, ¿que surgirá de esta nueva situación?

En este artículo quiero repasar todo lo aprendido en estos últimos meses en los que hemos trabajado muy duro internamente para evaluar la situación, mejorar todos aquellos aspectos y procesos que la vorágine del día a día no nos permitía hacer, y alinearnos con la nueva normalidad que ahora nos obliga a reinventarnos en el sector audiovisual.

Desde hace algunos años, sobre todo gracias al desarrollo tecnológico que han desarrollado empresa como Nvidia o AMD a nivel de Hardware, el sector audiovisual esta desarrollando una auténtica revolución que, casualmente, aprovechando el parón pandémico, ha tenido su punto culmen durante los últimos meses.

The potential of new graphics cards and the development of software from companies such as Disguise, 10bit FX Limited or Epic games, are causing the dream of those who dedicate ourselves to this, to become a reality. To be able to work on our projects in real-time, the famous WYSIWYG, What You See Is What You Gety reducir notablemente los tiempos de renderizado.

Obviously this does not imply that now, overnight, the pipeline of audiovisual projects has changed and we forget about the quality that other render engines such as Octane and Redshift can give us…. On the contrary, each of the applications of these motors has their role, and as always, the need for the type of final product will determine which tools to use.

But these new tools, such as Unreal Engine or Notch, have come so that we can now offer new services focused on creating virtual worlds and embedding characters in them. Services that can range from a hybrid or virtual event to recordings for film productions, series, or video games.

Después de la “breve” introducción, quiero definir los diferentes puntos en los que nos hemos focalizado durante estos meses y se han convertido en servicios que ya ofrecemos a nuestros clientes.

Virtual Production o XR

Virtual Production o xR son términos muy amplios que se enfocan en aportar soluciones a como entendemos la producción audiovisual en todas sus vertientes. Digamos que es un tipo de producción en la que el mundo físico y real se encuentran combinando la realidad virtual, la realidad aumentada y el CGI,, making it possible for us to see how our scenes unfold in real-time as they are composed and captured in one set.

Resumiendo, se trata de la creación de escenarios virtuales en las cuales podemos incrustar personas u objetos mediante la utilización de pantallas de LED, dejando a un lado el green screen y sus altos costes en postproducción.Esta nueva solución tecnológica ha sido implementada principalmente gracias a Epic Games, mediante su motor de videojuegos Unreal Engine.

Por otro lado, el término xR, o realidad extendidaha sido creado por Disguise.xR viene a ser la solución tecnológica focalizada en crear un workflow entre el traking de camaras,indispensable para este tipo de proyectos, y la creación de contenido en tiempo real,de forma relativamente “fácil y sencilla” .

Finally, we cannot forget the generation of content, since for all this to happen we need our environments to be rendered in real-time.

Gracias a Unreal Engine o Notch,conseguimos que la cámara física que esta siendo trakeada en nuestro set, se sincronice con la cámara 3D que esta dentro de nuestro mundo virtual. Esa conjunción de mundos virtual y real, ocurre gracias a las pantallas de led,las cuales renderizan tanto el contenido real como aumentado mediante herramientas como Ndisplay de Unreal Engine, o la solución xR de Disguise.

Las principales ventajas de este proceso son:

1- Alternativa al tradicional sistema de chroma

2- Luces y sombras reales sobre nuestros actores u objetos sin franjas verdes

3- Reflexiones reales sobre nuestro ponente u objeto

4- Reducción de las necesidades de rotoscopia o Keying en posproducción.

5- Interacción y visualización directa de actores y presentadores con el contenido.

Para desarrollar este tipo de producción necesitamos un sistema de tracking.Actualmente nosotros estamos trabajando con la solución de Mosys, pero existen muchas mas como Stype por ejemplo. Además, todo este proceso también se puede realizar con los sistemas de tranking de HTC Vive,los cuales aportan una solución más económica.

En estos momentos en Framemov estamos trabajando en varios proyectos aplicando esta tecnología y se empiezan a convertir en los principales servicios que ofrecemos.

Servicios XR

Grabaciones de eventos híbridos

Recordings in which we embed the presenters and speakers in a 3d environment. We recreate live events just like before the pandemic. We include led screens in which we can include any type of content and we make lighting assemblies that can be controlled by lighting technicians. The final recording can be broadcast live via streaming having a complete final product that brings a high degree of innovation to the event. We virtualize speakers or objects through augmented realities that interact with the speaker in real-time. Además, contamos con el sistema de captura de movimiento de Blacktrax los cuales nos permiten traquear perfectamente todo el movimiento de la persona en el set.

Grabaciones cinematográficas, producción televisiva y cine.

Mediante la utilización del sistema de producción virtual creamos entornos virtuales que pueden ser modificados en tiempo real according to the needs of production. Lighting changes, space rotations, application of CGI effects in real-time. Live visual effects set that interacts directly with people or objects on the scene.

Streaming musicales, videoclips o sesiones vj

In July 2020, we held an electronic music festival in Framemov focused on finding a way out of the current situation of venues, festivals, and musical and visual artists. We generated a virtual stage in which DJ’s and VJ’s played. The entire stage could be modified in live through Unreal Engine as if it were a real stage.
On the screens, the VJ’s could control the visuals by connecting Resolume, Madmapper, or VDMX. The lighting was controlled by the DMX system. You can see the result below.

.

Cinemáticas para videojuegos.

Gracias a Gracias Unreal Engine hemos comenzado a crear cinemáticas para empresas de videojuegos.. In them, we develop the entire process of recording actors and characters through the use of motion capture suits, mocap, from companies such as Xsens, Perception Neuron, o o Rokoko.. Through the tracking system, we can record these a estos personajes 3D in real-time as if we were really on a recording set, seeing the final result live.

Por Jorge Escobar, CEO y Director Creativo en Framemov