07 abril 2021

Superman vs Batman

 Hace unos meses que empecé a probar DeepFaceLab, un conjunto de comandos ejecutables con los que trabajar los Deepfakes. Su uso aunque sea a base de pantallas de comandos es fácil e intuitivo.

Durante este tiempo y tras muchas pruebas, ya que trabajar con cualquier inteligencia artificial requiere paciencia, aprendizaje y mucho prueba/error he llegado a varias conclusiones que pasaré a mostraros con ejemplos gráficos, aunque será mejor que primero os ponga en antecedentes.

Carlos Latre / José Ramón de la Morena

Rejuvenecimiento Harrison Ford

Tras mucho trastear, hacer clips chorras cambiando las caras a personajes públicos que se parecen, Steven Tyler - Toñi de Azucar Moreno, rejuveneciendo a Harrison Ford, o intercambiando a Carlos Latre la cara del famoso imitado en ese momento. Pasé a algo más "ambicioso".

El trailer de "Superman vs Batman". La idea pintaba bien, devolverle el traje de Superman y el de Batman a sus primeros actores en el cine. Pasar de Henry Cavill a Christopher Reeve y de Ben Affleck a Michael Keaton, con la idea de ir más allá y los pocos frames en los que aparecen Gal Gadot y Amy Adams como Wonder Woman y Lois Lane, volver a las originales Lynda Carter y Margot Kidder.
Pero no pudo ser, por varias razones, casi todas ellas técnicas, tecnológicas y de morfología.


Para trabajar con Deepfakes hay unos requisitos básicos para un buen resultado.

- Un buen set de caras de la persona que va a aparecer en la versión final del vídeo, entre 4.000 y 6.000 desde todos los ángulos y con expresiones distintas.

- Una buena tarjeta gráfica.

- Y tiempo, mucho, mucho tiempo.


El flujo de trabajo para todos los deepfakes es el mismo.


Faceset Christopher Reeve


- Extraer todos los frames del vídeo que queremos cambiar (destino)

- Extraer las caras de ese vídeo y eliminar las caras que no sean objetivo del cambio.

- Conseguir el "faceset". Conseguir vídeos (fuente) donde se vea bien la cara del personaje en cuestión (los de entrevistas son especialmente buenos), luego descartar las no válidas (todas en las que no se vea la cara completa).

- Comprobar que la IA no se ha confundido y comprobar que las caras las haya reconocido y alineado bien.

- Entrenar a la inteligencia artificial (eso lleva tiempo, cuanto más entrena mejor resultado).

- Fusionar la cara nueva frame a frame al vídeo final.

- Exportarlo a vídeo.


¿Pero qué falló?

Henry Cavill / Christopher Reeve

Ahora una vez contado el funcionamiento de los deepfakes paso a analizar las razones que hace que aunque no sea una chapuza, no quede creíble mi intento en "Superman vs Batman".

- Morfología (rostro): quizá una de las partes que hace que sea más verosímil un deepfake. La estructura de la cara no es sustituida, si la cara destino es cuadrada y la de origen redonda nunca quedará creíble. Por mucho que te esfuerces.

Henry Cavill tiene una mandíbula mucho más cuadrada y un mentón mucho más estrecho que Christopher Reeve, eso hace que aunque el contenido cambie (ojos, nariz, boca, cejas ...) el continente no encaja con el personaje de origen.

- Tecnología: esa es una limitación mía. Los deepfakes se trabajan vía GPU, Nvidia para ser más exactos. Mi gráfica era bastante top hace 5 años, pero para esto va corta de VRAM (4 Gb), puede trabajar en ello pero más lento y limitada ya que con 4 Gb de VRAM no se le permite trabajar a grandes resoluciones.

DeepFaceLab trabaja con dos modelos, uno para gráficas de 2 a 4 Gb de VRAM (Quick96) que como su nombre indica trabaja con resoluciones de caras de 96 x 96 píxeles. Y el modelo SAEHD para GPU de 6 Gb o mayor, que puede trabajar hasta un máximo de 640 x 640 píxeles de resolución.

Yo me las he apañado para trabajar con mis 4 Gb con el modelo SAEHD que da mejores resultados, pero va justita.

- Resolución: Y aquí volvemos a lo anterior, trabajando con caras de 128 x 128 (el tope que da mi GPU), en clips en FHD o 4K se ve la falta de resolución. Hay una solución "cutre" que es trabajar con un vídeo 720 o 480, y luego escalarlo a FHD o 4K con otros programas de IA, pero eso da para otro post.

Pero lo que pierdes cuando trabajas con resoluciones muy bajas es que a la IA le complicas mucho más el reconocimiento facial, y puedes perder caras por el camino y eso supone frames con la cara del vídeo original parpadeando cada x frames que no haya reconocido facialmente y que sean difíciles de alinear a mano.

Henry Cavill / Christopher Reeve (deepfake) 

Ben Affleck / Michael Keaton (deepfake)


¿Se puede hacer algo convincente?

Claro que sí. Un ejemplo de trabajo bien hecho y de entender que los deepfakes convincentes pasan por conocer sus puntos débiles es el anuncio de Cruzcampo con "Lola Flores".


- Para ese anuncio se contrató a una actriz con una forma de cara similar, que actuó como Lola Flores. Con eso solucionas el problema de la estructura de la cara.

- Sólo tomas frontales, o 3/4. Uno de los puntos flojos de los deepfakes son los cambios de cara de perfil, especialmente la nariz. Volvemos a la forma de la cara. 

- Y luego jugar con la resolución, en ese anuncio la imagen de "Lola Flores" tiene el trato de imagen de los 80's / 90's, por necesidad, las imágenes de archivo de Lola Flores no pueden ser HD, mucho menos FHD, con lo cual hay que "ensuciar" la imagen de la "Lola" actriz para hacerlo creíble.

- ... y tener un buen equipo (o varios) entrenando muchas horas, días, o semanas.

Espero que os sea útil, si tenéis alguna duda no dudéis en preguntar. Y si no hacéis deepfakes y sois un poco "cuñaos" tenéis otro tema del que hablar en las comidas familiares, cuando os dejen comer en familia no conviviente claro.




17 febrero 2021

Dua Lipa - Future Nostalgia

Muchas veces leo, escucho o veo recomendaciones de discos por parte de artistas, bandas, grupos, y casi siempre escucho lo que recomiendan, está bien hacerlo, algunas veces no tienes la misma opinión que ellos y otras sí, pero probar está bien. De entre todas esas opiniones o recomendaciones las de Guille Mostaza las considero un acierto, no siempre, pero en su momento me descubrió a Dënver, y aunque de la que hablo hoy es conocida mundialmente, en cuanto a estilo no iba a decir yo que fuera a gustarme, mucho menos un disco de principio a fin.

Guille lleva meses, elogiando el "Future Nostalgia" de Dua Lipa, y aunque a mi los singles me gustaban fui un poco reticente a escuchar el disco entero. ERROR.

Es un gran disco por muchas razones, la principal es que tiene canciones muy pegadizas, que me gustan tanto a mi como a mis niñas el "come on come on let's get physical" es como si lo escuchara ahora cantado por las "minujas" mientras escribo.

Y segundo porque me lleva a unos años finales de los 80 y principios de los 90, en los que con mi madre nos llevábamos unas cuantas cintas de cassette de casa, cogíamos el coche con la única intención de dar una vuelta por la ciudad con la música puesta y cantábamos sin parar. Ahora mismo ecológicamente Greta Thunberg nos daría una colleja.

 Roxette, Rick Astley, Eight Wonder, el "Bad" de Michael Jackson, Cómplices o Mecano eran algunos de los que sonaban sin parar, y seguramente el "Future Nostalgia" habría entrado a lo campeón en el radio cassette de ese Opel Corsa.

Allá va la ilustración. Nos vemos o leemos!






16 febrero 2021

30 Monedas

Por fin terminé la primera temporada de "30 Monedas", la serie de Álex de la Iglesia para HBO.

Hacía mucho que no veía algo de Álex, creo que desde "Las Brujas de Zugarramurdi", y ya iba siendo hora de volver a entrar de lleno en su mundo.
"30 Monedas" engaña al principio, aunque hay un hilo que te lleva de principio a fin de esta primera temporada, los primeros episodios tienen un principio y un fin que acompaña a la trama central y que enganchan mucho, plagados de sucesos paranormales y criaturas terroríficas, que parecen sacadas del álbum Monstruos de finales de los 80, en un capítulo aparece el álbum en cuestión.
Recuerdo ese álbum de cromos con mucho cariño, esas cosas que se acaban perdiendo entre limpiezas de mierdas las justas, y mudanzas. Una lástima.

El trabajo de Megan Montaner, Miguel Ángel Silvestre y Eduard Fernández es brutal, supongo que algunos de ellos porque se salen del tipo de personaje que acostumbran a hacer.
Miguel Ángel haciendo de Paco, alcalde del pueblo con una autoestima por los suelos y a los pies de su señora esposa Merche (Macarena Gómez) y Eduard Fernández en la piel del Padre Manuel Vergara "a.k.a. cura de gimnasio" no tiene precio.
A Megan no la vi actuar antes, pero como me pasó anteriormente con Manuela Velasco en "REC", hay que hacerse fan de su trabajo en la piel de Elena, como de Sigourney Weaver en el papel de la Teniente Ripley.

Quiero hacer una mención especial también para los efectos especiales y para el creador de los Deepfakes (Alejandro Pérez) para rejuvenecer al Padre Vergara y al Cardinal Santoro. Yo que estoy haciendo pruebas sobre el tema, me quito el sombrero ya que no es fácil, ni rápido, encajar tan bien esos Deepfakes algunos planos son verdaderamente complicados.

Un largo aplauso para todos.

Ilustración y hasta la próxima.










05 febrero 2021

Ginebras - Ya Dormiré Cuando Me Muera

 A ver si recuerdo como va esto.

Escucho un disco, me gusta, empieza a sonar en bucle, me viene una ilustración para el post y lo publico, era algo así. Perdonad pero hace mucho que no dejo por aquí una crítica de un disco, bueno ahora se le llama reseña que criticar está feo.

A Ginebras las escuché por primera vez cuando sacaron "Todas Mis Ex Tienen Novio" y "La Típica Canción", me gustaron pero como a veces pasa te quedas con ganas de más, o de saber por donde irá el disco cuando salga.

Hasta esta semana no lo escuché, voy tarde, pero como con casi todo, nada nuevo.
¡Aarön que te pierdes, al grano!. ¡Voy!

El disco es una inyección de energía que hasta que nos toque el turno de vacunación se agradece un pinchacito de alegría para la temporadita que nos está tocando vivir. Tanto diminutivo me va a matar.
Me encanta la fuerza que desprenden las canciones, dignas de disfrutarlas en sala o festival (hay ganas) con muchos botes y manos arriba de estribillo a estribillo, desde el Lololó en "Metro de Madrid Informa" al ritmo bailable de "Paco y Carmela".

Entre mis favoritas está "6 AM", aunque del segundo 40 al 50 de canción me recuerde la melodía del estribillo "Pa Madrid" de "El Barrio", espero que me perdonen si lo leen, porque yo no :S

"Cosas Moradas", "Crystal Fighters", y "Chico Pum" son otras que destacan de las nueve que componen el disco. Esta última gran demandada junto con "Paco y Carmela" por el público infantil que tenemos en casa.

Y hasta aquí os puedo contar, que yo hablo de mis sensaciones al escuchar los discos para hablar de producción y demás están los profesionales del tema.

Os dejo con esta ilustración que hice en mis ratos de bucle "Ginebraril".











03 febrero 2021

Mod

Entre tareas del cole de las niñas, olor a repostería y aplausos desde la ventana, tuve tiempo durante el confinamiento (el de verdad, no lo de ahora) a llevar mi parte creativa a otros soportes.

Me gustan los videojuegos, mucho, a veces no tengo muy claro si me gusta más jugar o modificarlos a mi gusto.

Diseño de cascos de David Beckmann y Christian Lundgaard para Automobilista

Recuerdo que rondando el año 2000 entre unos cuantos creamos una web en Geocities (gratuita), era todo muy rudimentario, tanto que el que diseñó la web lo hizo en Word.  Allí recopilábamos frases absurdas que escuchábamos en clase, sí, las paridas estaban al orden del día.
Ahora es lo más enseñar tu jeta en internet, pero entonces nos gustaba mucho más ser anónimos en la red así que se nos ocurrió cambiar nuestro careto por personajes de Los Sims (el 1), me tocó crear las texturas de la ropa y de las caras. Nos echamos unas risas con eso, que si ponla más rubia, que si ponle más barriga, quítale pelo anda, y así hasta el infinito como con algunos clientes ahora. ;P
Lástima que tuvo poco recorrido, como casi todo lo que hicimos allí.
A día de hoy aún espero que me manden el diploma.

Creación de cara de Leo Messi en Los Sims 4

Mi amor a crear material para videojuegos creció al ritmo que crecían los videojuegos, algunos ofrecían editores en el juego o fuera de él y favorecían poder trastear con sus archivos.

Textura de Red Bull F1 añadida en el juego Automobilista

Textura creada y lista para añadir en Automobilista

Desde texturas para coches del primer RFactor, pasando por modelado de ropas o accesorios de Los Sims (ahora ya el 4), a cambios en el código del "gameplay" del Pro Evolution Soccer en cualquiera de sus ediciones.

Botas y caras para Pro Evolution Soccer 2013

Así que cuando echo de menos algo en algún videojuego ya lo añado yo, si se puede.
Lo difícil es encontrar el equilibrio entre crearlo y disfrutarlo.

20 enero 2021

Del tiempo, del confinamiento, y de inteligencia artificial

Uf! Más de dos años sin publicar nada aquí. :S
Poner de nuevo el blog decente me ha llevado un rato largo, qué de cambios en el editor!

Supongo que es un buen momento para volver a mover esto un poco, ahora que en la calle se pueden hacer menos cosas y a lo mejor os quedáis sin cosas que leer o series que ver y llegáis aquí.

Espero que no leáis esto dentro de unos años y penséis: "Ah!, ¿pero en 2021 se podía salir a la calle?".

En estos dos años, además de dibujar, animar, modificar visualmente videojuegos, ilustrar la orla de C, hacer de profe en casa, lavarme mucho las manos, aburrirme de aplaudir a las ocho y ponerme muchas mascarillas. Me ha dado por experimentar con inteligencia artificial (IA) y redes neuronales.

De esos experimentos con IA y sus aplicaciones prácticas, reconocer y clasificar tipos de ropa, con el aprendizaje reconocer si en una foto aparece un gato, o en base a reconocimientos médicos y estilo de vida pronosticar la probabilidad de un problema cardíaco en los siguientes años. También llegué a los DeepFakes.

Resumiendo la IA reconoce una cara, le das otra para sustituir a la primera y ella se encarga de cambiarla.

Es un proceso largo, la parte sencilla es coger el vídeo original al que quieres sustituirle la cara, luego empieza lo difícil, encontrar un "faceset" de la cara que quieras poner no es tarea fácil ya que necesitas unos 2.000 frames para que sea óptimo y en el que tenga expresiones distintas. Si solo consigues fotogramas sonriendo, tu Deepfake solo sonreirá.

Luego hay que entrenar a la IA, eso son días de cálculo si quieres una buena calidad.

Y quizá la parte más artística llega al final cuando hay que igualar en tono, color, recortar, o pulir en el fusionado entre las dos caras.

Lo dicho, no es tarea fácil. Un día profundizaré más en forma de tutorial.

Si has llegado hasta aquí, un saludo!