08 junio 2021
02 junio 2021
21 mayo 2021
26 abril 2021
14 abril 2021
13 abril 2021
07 abril 2021
Superman vs Batman
Hace unos meses que empecé a probar DeepFaceLab, un conjunto de comandos ejecutables con los que trabajar los Deepfakes. Su uso aunque sea a base de pantallas de comandos es fácil e intuitivo.
Durante este tiempo y tras muchas pruebas, ya que trabajar con cualquier inteligencia artificial requiere paciencia, aprendizaje y mucho prueba/error he llegado a varias conclusiones que pasaré a mostraros con ejemplos gráficos, aunque será mejor que primero os ponga en antecedentes.
Carlos Latre / José Ramón de la Morena |
Rejuvenecimiento Harrison Ford |
Tras mucho trastear, hacer clips chorras cambiando las caras a personajes públicos que se parecen, Steven Tyler - Toñi de Azucar Moreno, rejuveneciendo a Harrison Ford, o intercambiando a Carlos Latre la cara del famoso imitado en ese momento. Pasé a algo más "ambicioso".
El trailer de "Superman vs Batman". La idea pintaba bien, devolverle el traje de Superman y el de Batman a sus primeros actores en el cine. Pasar de Henry Cavill a Christopher Reeve y de Ben Affleck a Michael Keaton, con la idea de ir más allá y los pocos frames en los que aparecen Gal Gadot y Amy Adams como Wonder Woman y Lois Lane, volver a las originales Lynda Carter y Margot Kidder.
Pero no pudo ser, por varias razones, casi todas ellas técnicas, tecnológicas y de morfología.
Para trabajar con Deepfakes hay unos requisitos básicos para un buen resultado.
- Un buen set de caras de la persona que va a aparecer en la versión final del vídeo, entre 4.000 y 6.000 desde todos los ángulos y con expresiones distintas.
- Una buena tarjeta gráfica.
- Y tiempo, mucho, mucho tiempo.
El flujo de trabajo para todos los deepfakes es el mismo.
Faceset Christopher Reeve |
- Extraer todos los frames del vídeo que queremos cambiar (destino)
- Extraer las caras de ese vídeo y eliminar las caras que no sean objetivo del cambio.
- Conseguir el "faceset". Conseguir vídeos (fuente) donde se vea bien la cara del personaje en cuestión (los de entrevistas son especialmente buenos), luego descartar las no válidas (todas en las que no se vea la cara completa).
- Comprobar que la IA no se ha confundido y comprobar que las caras las haya reconocido y alineado bien.
- Entrenar a la inteligencia artificial (eso lleva tiempo, cuanto más entrena mejor resultado).
- Fusionar la cara nueva frame a frame al vídeo final.
- Exportarlo a vídeo.
¿Pero qué falló?
Henry Cavill / Christopher Reeve |
Ahora una vez contado el funcionamiento de los deepfakes paso a analizar las razones que hace que aunque no sea una chapuza, no quede creíble mi intento en "Superman vs Batman".
- Morfología (rostro): quizá una de las partes que hace que sea más verosímil un deepfake. La estructura de la cara no es sustituida, si la cara destino es cuadrada y la de origen redonda nunca quedará creíble. Por mucho que te esfuerces.
Henry Cavill tiene una mandíbula mucho más cuadrada y un mentón mucho más estrecho que Christopher Reeve, eso hace que aunque el contenido cambie (ojos, nariz, boca, cejas ...) el continente no encaja con el personaje de origen.
- Tecnología: esa es una limitación mía. Los deepfakes se trabajan vía GPU, Nvidia para ser más exactos. Mi gráfica era bastante top hace 5 años, pero para esto va corta de VRAM (4 Gb), puede trabajar en ello pero más lento y limitada ya que con 4 Gb de VRAM no se le permite trabajar a grandes resoluciones.
DeepFaceLab trabaja con dos modelos, uno para gráficas de 2 a 4 Gb de VRAM (Quick96) que como su nombre indica trabaja con resoluciones de caras de 96 x 96 píxeles. Y el modelo SAEHD para GPU de 6 Gb o mayor, que puede trabajar hasta un máximo de 640 x 640 píxeles de resolución.
Yo me las he apañado para trabajar con mis 4 Gb con el modelo SAEHD que da mejores resultados, pero va justita.
- Resolución: Y aquí volvemos a lo anterior, trabajando con caras de 128 x 128 (el tope que da mi GPU), en clips en FHD o 4K se ve la falta de resolución. Hay una solución "cutre" que es trabajar con un vídeo 720 o 480, y luego escalarlo a FHD o 4K con otros programas de IA, pero eso da para otro post.
Pero lo que pierdes cuando trabajas con resoluciones muy bajas es que a la IA le complicas mucho más el reconocimiento facial, y puedes perder caras por el camino y eso supone frames con la cara del vídeo original parpadeando cada x frames que no haya reconocido facialmente y que sean difíciles de alinear a mano.
Henry Cavill / Christopher Reeve (deepfake) |
Ben Affleck / Michael Keaton (deepfake) |
¿Se puede hacer algo convincente?
Claro que sí. Un ejemplo de trabajo bien hecho y de entender que los deepfakes convincentes pasan por conocer sus puntos débiles es el anuncio de Cruzcampo con "Lola Flores".
- Para ese anuncio se contrató a una actriz con una forma de cara similar, que actuó como Lola Flores. Con eso solucionas el problema de la estructura de la cara.
- Sólo tomas frontales, o 3/4. Uno de los puntos flojos de los deepfakes son los cambios de cara de perfil, especialmente la nariz. Volvemos a la forma de la cara.
- Y luego jugar con la resolución, en ese anuncio la imagen de "Lola Flores" tiene el trato de imagen de los 80's / 90's, por necesidad, las imágenes de archivo de Lola Flores no pueden ser HD, mucho menos FHD, con lo cual hay que "ensuciar" la imagen de la "Lola" actriz para hacerlo creíble.
- ... y tener un buen equipo (o varios) entrenando muchas horas, días, o semanas.
Espero que os sea útil, si tenéis alguna duda no dudéis en preguntar. Y si no hacéis deepfakes y sois un poco "cuñaos" tenéis otro tema del que hablar en las comidas familiares, cuando os dejen comer en familia no conviviente claro.
05 abril 2021
10 marzo 2021
17 febrero 2021
Dua Lipa - Future Nostalgia
Muchas veces leo, escucho o veo recomendaciones de discos por parte de artistas, bandas, grupos, y casi siempre escucho lo que recomiendan, está bien hacerlo, algunas veces no tienes la misma opinión que ellos y otras sí, pero probar está bien. De entre todas esas opiniones o recomendaciones las de Guille Mostaza las considero un acierto, no siempre, pero en su momento me descubrió a Dënver, y aunque de la que hablo hoy es conocida mundialmente, en cuanto a estilo no iba a decir yo que fuera a gustarme, mucho menos un disco de principio a fin.
Guille lleva meses, elogiando el "Future Nostalgia" de Dua Lipa, y aunque a mi los singles me gustaban fui un poco reticente a escuchar el disco entero. ERROR.
Es un gran disco por muchas razones, la principal es que tiene canciones muy pegadizas, que me gustan tanto a mi como a mis niñas el "come on come on let's get physical" es como si lo escuchara ahora cantado por las "minujas" mientras escribo.
Y segundo porque me lleva a unos años finales de los 80 y principios de los 90, en los que con mi madre nos llevábamos unas cuantas cintas de cassette de casa, cogíamos el coche con la única intención de dar una vuelta por la ciudad con la música puesta y cantábamos sin parar. Ahora mismo ecológicamente Greta Thunberg nos daría una colleja.
Roxette, Rick Astley, Eight Wonder, el "Bad" de Michael Jackson, Cómplices o Mecano eran algunos de los que sonaban sin parar, y seguramente el "Future Nostalgia" habría entrado a lo campeón en el radio cassette de ese Opel Corsa.
Allá va la ilustración. Nos vemos o leemos!
16 febrero 2021
30 Monedas
05 febrero 2021
Ginebras - Ya Dormiré Cuando Me Muera
A ver si recuerdo como va esto.
Escucho un disco, me gusta, empieza a sonar en bucle, me viene una ilustración para el post y lo publico, era algo así. Perdonad pero hace mucho que no dejo por aquí una crítica de un disco, bueno ahora se le llama reseña que criticar está feo.
A Ginebras las escuché por primera vez cuando sacaron "Todas Mis Ex Tienen Novio" y "La Típica Canción", me gustaron pero como a veces pasa te quedas con ganas de más, o de saber por donde irá el disco cuando salga.
Hasta esta semana no lo escuché, voy tarde, pero como con casi todo, nada nuevo.
¡Aarön que te pierdes, al grano!. ¡Voy!
El disco es una inyección de energía que hasta que nos toque el turno de vacunación se agradece un pinchacito de alegría para la temporadita que nos está tocando vivir. Tanto diminutivo me va a matar.
Me encanta la fuerza que desprenden las canciones, dignas de disfrutarlas en sala o festival (hay ganas) con muchos botes y manos arriba de estribillo a estribillo, desde el Lololó en "Metro de Madrid Informa" al ritmo bailable de "Paco y Carmela".
Entre mis favoritas está "6 AM", aunque del segundo 40 al 50 de canción me recuerde la melodía del estribillo "Pa Madrid" de "El Barrio", espero que me perdonen si lo leen, porque yo no :S
"Cosas Moradas", "Crystal Fighters", y "Chico Pum" son otras que destacan de las nueve que componen el disco. Esta última gran demandada junto con "Paco y Carmela" por el público infantil que tenemos en casa.
Y hasta aquí os puedo contar, que yo hablo de mis sensaciones al escuchar los discos para hablar de producción y demás están los profesionales del tema.
Os dejo con esta ilustración que hice en mis ratos de bucle "Ginebraril".
03 febrero 2021
Mod
Diseño de cascos de David Beckmann y Christian Lundgaard para Automobilista |
Creación de cara de Leo Messi en Los Sims 4 |
Textura de Red Bull F1 añadida en el juego Automobilista |
Textura creada y lista para añadir en Automobilista |
Botas y caras para Pro Evolution Soccer 2013 |