29.01.2024 / Noticias

Lumiere, la nueva inteligencia artificial de Google para generar vídeos de alta resolución que deja atrás al resto de aplicaciones

La inteligencia artificial se ha convertido en la nueva carrera tecnológica de la actualidad. La mayoría de empresas dedicadas a la innovación luchan por sacar primero las distintas aplicaciones de inteligencia artificial. En este caso nos vuelve a sorprender Google con Lumiere, su nueva IA generadora de video que promete marcar un antes y un después en la creación de contenidos.

¿Te imaginas poder crear vídeos impresionantes a partir de simples textos o imágenes? ¿O darle vida a tus fotos favoritas con solo unos clics? ¿O transformar tus dibujos en animaciones realistas? Pues todo esto y más es posible gracias a Lumiere.

Lumiere es un modelo de difusión espacio-temporal que puede sintetizar vídeos de hasta 5 segundos de duración a partir de diferentes entradas: texto, imagen fija, imagen parcial o imagen de estilo. El resultado es sorprendente, ya que los vídeos generados tienen una alta resolución y una gran calidad visual, superando a los modelos anteriores de inteligencia artificial generativa de vídeo.

 

 

¿Cómo funciona Lumiere? Google a la vanguardia

 

Lumiere no solo destaca por el realismo en la creación de sus videos sino también por su funcionamiento vanguardista, que se aleja de cualquier otra inteligencia artificial generadora de video.

Lumiere utiliza una arquitectura llamada Space-Time U-Net, que genera todo el metraje del vídeo de una sola vez, a través de una única pasada en el modelo. Esto contrasta con los modelos de vídeo existentes, que sintetizan fotogramas clave distantes entre sí, y después aplican una superresolución temporal.

 

Space-Time U-Net procesa el vídeo en múltiples escalas de espacio-tiempo, utilizando un muestreo descendente y ascendente espacial y temporal, y aprovechando un modelo de difusión de texto a imagen previamente entrenado. De esta forma, el modelo aprende a generar directamente un vídeo de baja resolución y fotograma completo, y luego lo refina con una red de superresolución.

 

¿Qué se puede hacer con Lumiere?

 

Lumiere ofrece una gran variedad de posibilidades para la creación de vídeos, dependiendo de la entrada que se le proporcione. Estas son algunas de las opciones que se pueden explorar con esta herramienta:

 

–   Generar vídeos a partir de texto: se pueden crear vídeos que representen lo que se describe en un texto, por ejemplo, “un oso con una chaqueta verde montando en bici sobre el acueducto de Segovia”. El modelo interpreta el texto y genera un vídeo coherente con la escena.

 

–   Generar vídeos a partir de imagen fija: se puede animar una imagen fija, por ejemplo, una foto de un paisaje o un retrato, y darle movimiento a los elementos que considere relevantes, como el agua, el viento o la expresión facial.

 

–   Generar vídeos a partir de imagen parcial: se puede animar solo una parte de una imagen fija, por ejemplo, una hoguera, una mariposa o una bandera, y mantener el resto de la imagen estático. Esto permite crear efectos visuales interesantes y enfocar la atención en un aspecto concreto de la imagen.

 

–   Generar vídeos a partir de imagen de estilo: se puede utilizar una imagen solo para indicar el estilo de diseño o color que se quiere en el vídeo, por ejemplo, un dibujo animado, una pintura o un collage. El modelo adapta el estilo de la imagen a la entrada de texto o imagen fija, y crea un vídeo con ese estilo.

 

¿Qué ventajas tiene Lumiere?

 

Lumiere es una herramienta innovadora y potente que tiene muchas ventajas para la generación de vídeos, tanto para fines profesionales como personales. Algunas de estas ventajas son:

 

–   Ahorro de tiempo y recursos: permite crear vídeos de alta calidad sin necesidad de usar cámaras, equipos, actores, escenarios o editores de vídeo. Con solo introducir una entrada de texto o imagen, se puede obtener un vídeo en cuestión de segundos.

 

–   Creatividad y personalización: ofrece una gran libertad creativa para generar vídeos originales y personalizados, que se adapten a las preferencias y necesidades de cada usuario. Se puede elegir el contenido, el estilo, el color y el movimiento de los vídeos, y experimentar con diferentes combinaciones.

 

–   Diversión y entretenimiento: se trata de una herramienta divertida y entretenida, que permite crear vídeos sorprendentes y divertidos, que pueden compartirse con amigos, familiares o redes sociales. Se puede jugar con las entradas de texto o imagen, y ver qué vídeos genera el modelo.

 

¿Qué limitaciones tiene Lumiere?

 

Dado que esta inteligencia artificial supone un paso hacia la innovación por parte de Google, esta aplicación de inteligencia artificial tendrá ciertas limitaciones por el momento. Sin embargo, como pasa cada vez que sale una nueva aplicación al mercado, con el paso del tiempo se irán haciendo retoques hasta lograr perfeccionarla. Algunas de las limitaciones que tendrá Lumiere son:

 

–   Duración y resolución: Lumiere solo puede generar vídeos de hasta 5 segundos de duración, y con una resolución de 256×256 píxeles. Estas restricciones se deben a las limitaciones de memoria y computación de los modelos de inteligencia artificial generativa de vídeo.

 

–   Coherencia y realismo: se pueden generar vídeos que no sean coherentes o realistas, por ejemplo, que violen las leyes de la física, que tengan artefactos visuales o que no se correspondan con la entrada. Estos errores se deben a las limitaciones de los datos de entrenamiento y de la arquitectura del modelo.

 

–   Ética y legalidad: se pueden generar vídeos que planteen cuestiones éticas o legales, por ejemplo, que violen los derechos de autor, que suplanten la identidad de personas reales o que difundan información falsa. Estos riesgos se deben a la falta de regulación y control de los modelos de inteligencia artificial generativa de vídeo. Sin embargo este aspecto comenzará a mejorar a raíz de la nueva ley de inteligencia artificial europea.

 

Quiero probar Lumiere ¿Qué tengo que hacer?

 

Lumiere es un proyecto de investigación de Google, que aún no está disponible para el público. Sin embargo, se puede acceder al código fuente y a los datos del modelo en su repositorio de Github, y seguir las instrucciones para ejecutarlo en una plataforma de computación en la nube, como Google Colab.

 

Si estás interesado en mantener actualizada tu información sobre las últimas novedades y sucesos relacionados con la seguridad informática, protección de información, inteligencia artificial y todas nuestras ofertas de empleo, te animamos a seguirnos en nuestras redes sociales y visitar nuestra sección de noticias.