Animare immagini con le espressioni facciali dei video con Live Portrait

Animare la foto di un volto con le espressioni facciali di una persona in un altro video con la AI di Love Portrait su HuggingFace, Replicate e Fal.ai

Siti come Hugging Face, Replicate e Fal.ai sono piattaforme online che offrono risorse e strumenti per l'intelligenza artificiale (IA) e l'apprendimento automatico (ML). Nell'ottica di piattaforme IA e ML:

• Forniscono l'accesso a modelli di IA pre-addestrati, set di dati e strumenti per sviluppare e implementare applicazioni di IA.
• Offrono un ambiente in cui gli sviluppatori possono collaborare, condividere e utilizzare risorse di IA.

Sono però anche Hub di modelli e set di tati. In questa modalità c'è qualche differenza tra le tre piattaforme:

• Hugging Face è noto per il suo vasto hub di modelli e set di dati, che copre una vasta gamma di attività di IA, come l'elaborazione del linguaggio naturale (NLP), la visione artificiale e altro ancora.
• Replicate e Fal.ai offrono anch'essi una vasta gamma di modelli da utilizzare tramite API.
• Replicate e Fal.ai si concentrano sulla semplificazione dell'implementazione di modelli di IA, fornendo API che consentono agli sviluppatori di integrare facilmente l'IA nelle loro applicazioni.
• Tutti e tre questi servizi offrono l'infrastruttura necessaria per eseguire modelli di IA su scala, eliminando la necessità per gli sviluppatori di gestire server e risorse hardware.
• Queste piattaforme promuovono una comunità di sviluppatori e ricercatori di IA, facilitando la condivisione di conoscenze e risorse.
• Hugging Face, in particolare, ha una forte comunità open source che contribuisce allo sviluppo e alla condivisione di modelli e set di dati.

In questo post mi occuperò di uno strumento IA che è presente in tutte e tre queste piattaforme e che ci consente di animare un'immagine di un personaggio, anche solo disegnato, seguendo le espressioni facciali di un'altra persona.

Ho pubblicato sul mio Canale Youtube un tutorial per animare foto di persone con la AI di Live Portrait.

Ci si registra a HuggingFace andando su Sign Up in alto a destra. Dopo aver superato un controllo visivo si digita un indirizzo email e una password per creare un account. Per usare Live Portrait si clicca sul link precedente.

Nel campo di sinistra si carica un'immagine mentre in quella di destra si carica un video. Il video deve riguardare soprattutto la testa della persona e si devono ridurre al minimo i movimenti delle spalle. Per quello che invece riguarda l'immagine, ci sono meno restrizioni. Deve solo essere ben visibile il volto. Si va su Animate.

Quindi si attende il termine della generazione del video che poi potrà essere scaricato. Il video sarà diviso in tre parti.

Sulla sinistra verrà riprodotto il video caricato, al centro l'immagine da animare e sulla destra l'immagine animata. Per scaricare tutto il video in formato MP4 si clicca sul pulsante della freccia che punta verso il basso.

Per accedere a Replicate si va su Sign In e bisogna usare un account GitHub e inserire un metodo di pagamento come i dati di una carta di credito. Si può anche impostare il limite massimo della spesa mensile su Replicate.

Si apre la pagina di Live Portrait su Replicate. Si carica l'immagine e il video da cui catturare le espressioni.

Nella parte bassa della pagina ci sono parecchie impostazioni che opzionalmente possiamo personalizzare.

A chi non sia particolarmente esperto consiglio di mantenere i parametri di default e andare su Boot + Run. Inizierà la generazione del video che solitamente non è troppo lunga. Si clicca su Download sotto il video di Output per scaricarlo in formato MP4. La spesa per un video di 3-6 sec è di circa 5 centesimi di dollaro.

Fal.ai offre a chi si registra un credito iniziale di 1$. Si va su Get Started in alto a destra quindi ci si logga con GitHub. Quando la dotazione iniziale di un dollaro è terminata si possono acquistare pacchetti di crediti.

Si va da 10$ a 50$ per generare approssimativamente da 4.500 a 23.000 immagini rispettivamente. Si apre la pagina del Live Portrait e, come nei casi precedenti, si caricano un'immagine e un video da usare come modello.

Si clicca su Choose per scegliere i due file dal computer. Si va poi su Run per creare l'immagine animata come video MP4. Per scaricarlo si clicca sul pulsante Download posto sotto il player di anteprima del filmato generato.