La artista digital Karen X. Cheng ya es conocida por haber hecho uso de la popular inteligencia artificial Dall-E 2 para crear la portada de la edición estadounidense de la revista Cosmopolitan del pasado mes de julio. La primera portada, hasta donde sabemos, creada con este sistema.
Cheng estuvo entonces, según declaró ella misma, haciendo pruebas «durante 100 horas» con Dall-E 2 para comprender bien su funcionamiento. Ahora, Cheng vuelve a ser noticia en las redes por su creativo uso de la inteligencia artificial: ha creado sensación en Instagram con un vídeo en la que la ve paseando por la calle mientras su ropa va mutando a medida que anda.
Y luego ha publicado un hilo en Twitter comentando el ‘cómo se hizo’:
«Después de un montón de experimentación, finalmente logré que DALL-E funcionara para video combinándolo con algunas otras herramientas de IA».
1/ Using AI to generate fashion
After a bunch of experimentation I finally got DALL-E to work for video by combining it with a few other AI tools
See below for my workflow –#dalle2 #dalle #AIart #ArtificialIntelligence #digitalfashion #virtualfashion pic.twitter.com/x3zP3fIp4G
— Karen X. Cheng (@karenxcheng) August 30, 2022
Sólo con DALL-E 2 no basta
La razón por la que DALL-E 2 no bastaba por sí sólo es sencilla: se trata de una IA pensada para trabajar con imágenes, no con vídeo; de tal modo que altera ‘frame’ a ‘frame’… sin mantener la coherencia de un frame a otro…
…cada nueva vestimenta sólo permanece, por tanto, unas milésimas de segundo en pantalla. Si queremos que el movimiento sea percibible antes de cada cambio, tenemos que recurrir a técnicas complementarias de manipulación de imagen.
«Después de un montón de experimentación, descubrí un programa llamado EbSynth«. Este software está pensado, en realidad, para un objetivo muy distinto: aplicar a toda una escena en movimiento una alteración del estilo pictórico aplicada a un único frame de dicha escena.
[embedded content]
Así, si hemos convertido un fotograma de una película en un cuadro impresionista, podemos aplicar posteriormente dicho estilo a toda la escena, utilizando el frame original como referencia.
Cheng se preguntaba si la funcionalidad de este software podía aplicarse también a la ropa. Y resultó que, para júbilo suyo, sí resultaba útil en ese contexto. Pero aun así, la transición entre fotogramas con distintas prendas todavía quedaba poco fluida.
Y ahí es donde entra un tercer software de IA: DAIN, pensado para permitir transiciones entre frames no completamente consecutivos, dando así sensación de movimiento natural (se usa, por ejemplo, para convertir en vídeo sucesiones de fotos, como se ve a continuación).
1/ Using AI to smooth my footage 😌 with @jperldev. We’re using DAIN, an AI technique that smoothly interpolates frames. #stopmotion #artificialintelligence pic.twitter.com/UxHfc3U6j8
— Karen X. Cheng (@karenxcheng) July 27, 2022
Imagen | Karen X. Cheng
