El nuevo modelo de inteligencia artificial de Google puede animar imágenes e incluso editar vídeos mediante comandos o prompts de texto.
Publicado por: M.P.
La tecnología de inteligencia artificial generativa llegó a Google con el anuncio de Lumiere, la última innovación del buscador en el campo de vídeo.
Esta avanzada IA tiene la capacidad de transformar texto y fotos en vídeos dinámicos, según lo explicó Google en su blog.
El gigante tecnológico dio a conocer la herramienta a través de un video explicando las capacidades de Lumiere. Con solo unas pocas indicaciones escritas o una imagen estática como punto de referencia, esta IA puede crear vídeos completos, llenos de movimiento o incluso recrear vídeos en estilos específicos.
La función principal de Lumiere es su capacidad para generar vídeos a partir de texto. Utilizando un modelo de difusión de texto a vídeo, esta IA es capaz de interpretar instrucciones escritas y traducirlas en vídeos completamente nuevos a partir de simples descripciones.
Otra función destacada de Lumiere es su capacidad para generar vídeos basados en estilos específicos. Con solo una imagen de referencia, esta IA puede crear vídeos que imiten ciertos estilos visuales.
Lea más: Bloquean búsquedas de Taylor Swift tras difusión de fotos íntimas creadas con IA
Introducing Lumiere, a space-time diffusion research model for video generation that synthesizes videos portraying realistic, diverse & coherent motion. It was a collaboration between Google Research, @WeizmannScience, @TelAvivUni, & @TechnionLive. https://t.co/BHJYEUwAW7 pic.twitter.com/XTsnimT8uc
— Google AI (@GoogleAI) January 26, 2024
Finalmente, Lumiere también cuenta con capacidades de inpainting de vídeo, lo que le permite rellenar áreas faltantes en un vídeo de manera realista. Esta función es útil para corregir errores en el metraje o eliminar objetos no deseados de una manera que parezca natural y coherente con el resto del vídeo.
Para lograr esto, Google explica el proceso de desarrollo de esta herramienta. “Al implementar un muestreo descendente y ascendente tanto espacial como (lo más importante) temporal y aprovechar un modelo de difusión de texto a imagen previamente entrenado, nuestro modelo aprende a generar directamente un video de baja resolución y velocidad de cuadros completa procesándolo en múltiples escalas espacio-temporales”, dice Google en su blog.
Lea: ¿Qué es Telepathy, el primer chip cerebral implantado en humanos?
Lumiere “facilita una amplia gama de tareas de creación de contenido y aplicaciones de edición de video, incluida la conversión de imagen a video, pintura de video y generación estilizada”, concluye Google. Hasta el momento, este es un proyecto de investigación de Google por lo que no se ha detallado si su uso estará disponible para el público.
Todo esto se traduce en múltiples capacidades para Lumiere. La IA generativa de vídeos de Google puede:
▪️ Crear vídeos a partir de texto: escribes la descripción, y Lumiere lo hace realidad
▪️ Crear vídeos a partir de imágenes: lo que significa que puede convertir imágenes estáticas en vídeos con movimiento.
▪️ Generar vídeos estilizados en base a imágenes: la IA puede usar una imagen como referencia de estilo al crear los vídeos que el usuario le pida.
▪️ Editar vídeos: puede modificar partes de un vídeo existente. Por ejemplo, en un vídeo de una mujer corriendo es posible pedirle “que la mujer esté hecha de flores”, y la IA lo hará realidad.
▪️ Hacer “cinemagraphs”: o dicho de otro modo, animar partes específicas de imágenes
Con información tomada y modificada de El Universal.
Siga leyendo: Huawei está de vuelta tras cinco años de sanciones en Estados Unidos
