Resucitando antiguos metrajes con inteligencia artificial

Denis Shiryaev, de Neural Love, está usando inteligencia artificial/ machine learning para que podamos ver lo mismo que vieron mientras filmaban las primeras personas que se pusieron detrás de una cámara de vídeo. Siempre hemos visto esos metrajes con saltos, con pocos frames por segundo, en un blanco y negro borroso, pero la tecnología está aquí para ayudar.

¿Qué hacen en Neural Love? Pues, traduciendo de su página web, “Nuestro machine-learning está construido sobre unconjunto de redes neuronales que permiten mejorar, añadir FPS, colorear, eliminar ruido y mucho más.”

En concreto, sus servicios comprenden cuatro áreas principales (citando su web):

Aumento de FPS
Una red neuronal entrenada a través de películas en cámara lenta generará de forma artificial fotogramas adicionales para su metraje. Incluso las películas de 14 fps se pueden aumentar fácilmente a 60 fps.

Mejora de 4K
Cada cuadro se puede escalar utilizando datos específicos que se alinean perfectamente con su metraje. Nuestra red neuronal “redibujará” los datos faltantes y aumentará la resolución del cuadro 4x o más.

Colorear
Una red neuronal entrenada específicamente con nuestro propio conjunto de datos le proporcionará una coloración artificial aproximada a cada frame. Si bien no es históricamente precisa, la coloración parece natural.

Servicios adicionales
Nuestro equipo de ingenieros estará encantado de ayudarle a resolver diversas tareas digitales con nuestra magia de aprendizaje automático.

El trabajo que están realizando desde Neural Love nos está permitiendo disfrutar de algunas piezas históricas casi como si lo estuviésemos viendo en directo. Todo se puede difrutar en su canal de YouTube, donde explican, además, el proceso que han seguido. Hago aquí una pequeña selección:

La grabación más antigua que se conoce, “Roundhay Garden Scene”, Inglaterra, 1888. Un metraje de Louis Le Prince grabado en Roundhay Garden en octubre de 1888.

Un paseo por el París de 1890:

Las calles de Moscú en 1896:

El tranvía colgante alemán en 1902:

Tokyo en 1913-1915:

Otro vídeo que se ha restaurado y que lleva semanas dando vueltas por Twitter es el de la bguerra de bolas de nieve filmada por los hermanos Lumière en 1896. En este caso, la tecnología/ inteligencia artificial que se ha utilizado es la de DeOldify (aquí su Github).

Este es el famoso vídeo de la guerra de bolas de nieve:

Y también podemos encontrar muchos otros que han utilizado esa misma tecnología, como este vuelto del Graff Zeppelin que volaría de Tokyo a San Francisco en 1928:

Hay mucho software desde hace años que nos permite colorear y mejorar fotos y vídeos antiguos. La novedad con las redes neuronales es que va un paso más allá y hace que no solo las imágenes estén coloreadas, sino que la fluidez de los metraje ofrezca una experiencia mucho más cercana a la actual. Además, estas redes neuronales aprenden cada vez, lo que nos lleva a esperar mayor evolución en los próximos meses.