Lo que puedes ver en este vídeo que se ha publicado recientemente en Twitter no es ninguna cámara rápida de alguien, ni tampoco un vuelo de dron grabando vídeo con agilidad. Es un escenario tridimensional, creado por una red neuronal de renderizado a partir de unas cuantas fotografías estáticas. A principios de 2020 veíamos algo similar, pero la mejora respecto a entonces es enorme.
Unas fotos desde ahí, otras desde allá y ya tenemos la escena montada
ADOP: Approximate Differentiable One-Pixel Point Rendering
abs: https://t.co/npOqsAstAx pic.twitter.com/LE4ZdckQPO— AK (@ak92501) October 14, 2021
Como puedes ver en el vídeo, el detalle es tremendo (especialmente en las letras de la placa del barco en el minuto 1:18). El motor se llama ADOP (Approximate Differentiable One-Pixel Point Rendering) y se expone en la web ArXiv de la Universidad de Cornell, desde donde detallan que el escenario se genera a partir de fotografías tomadas arbitrariamente. Un motor adicional se encarga de ir modificando la tonalidad de cada fotografía para que el resultado quede uniforme.
De cada fotografía se tienen en cuenta variables como el balance de blancos o la exposición de la cámara, y por supuesto la posición y la dirección a la que apunta el objetivo. ADOP es capaz de gestionar más de 100 millones de puntos en tiempo real. Es algo similar a lo que logró Denis Shiryaev con los fotogramas del vídeo calificado como el más antiguo jamás grabado:
Rodolfo Rosini, fundador de la inversora ConceptionX, ha difundido el vídeo mencionando algunas posibles aplicaciones de esta tecnología. Con escenarios reproducibles a resoluciones tan altas piensa en replicar conciertos o eventos de gran envergadura, o crear escenarios realistas en videojuegos o películas.
También podemos pensar en las posibilidades de estos motores usando fotografías tomadas con smartphones avanzados, con sensores LiDAR. Podríamos ser capaces de generar un escenario tridimensional navegable de lo que queramos a base de unas cuantas fotografías tomadas alrededor. O como dice Rosini, «poder rotar el ángulo de las fotos» que tengamos en nuestro carrete. ¿Quizás a Google le interese esta tecnología para futuras versiones de Street View?
