Come creare avatar animati sincronizzati con la voce con la AI di HeyGen

Come creare avatar che muovono le labbra in sincrono con il testo con HeyGen, aggiungervi titolo, immagini, icone, musica, cornici e scaricarli in MP4

La creazione di avatar che riproducono un audio sincronizzato con il movimento delle labbra e del corpo è una delle funzionalità più affascinanti rese disponibili dall'intelligenza artificiale. Abbiamo già visto come creare una introduzione per i video di un Canale Youtube sfruttando questi strumenti. Per creare gli avatar bisognava rivolgersi a Midjourney che però da mesi non consente più l'accesso ai possessori di un account gratuito.

Si possono anche usare alternative a Midjourney tuttora disponibili come DALL·E, BlueWillow o Leonardo. Ci sono però altri strumenti, uno dei quali viene spesso usato nella trasmissione Viva Rai 2 condotta da Fiorello.

L'avatar della intelligenza artificiale è stato rinominato della ignoranza naturale e i testi che gli autori del programma gli fanno pronunciare hanno poco della intelligenza e molto della goliardia. In questo articolo vedremo proprio lo strumento utilizzato dai curatori del programma per realizzare le gag con l'ausilio della intelligenza artificiale.

Però mostrerò solo quello che si può fare con un account gratuito, visto che i piani di abbonamento Premium sono piuttosto costosi. Si apre la pagina di HeyGen e si va su Sign In in basso a sinistra per aprire un modulo.

Si digita un indirizzo email e si clicca su Send Code. Riceveremo un messaggio all'indirizzo digitato con un codice numerico di verifica che va incollato nel campo apposito per poi andare su Next Step. Dovremo quindi inserire per due volte una password per completare la creazione dell'account. Si può quindi andare su Sign In e accedere.

Ho pubblicato sul mio Canale Youtube un video tutorial per creare avatar parlanti personalizzati con HeyGen.

Nella colonna di sinistra della Home si può partire da un template per creare un video di una scena o da un avatar per eventualmente aggiungere altri elementi in seguito. In entrambi i casi si sceglie la risoluzione del video.

Le opzioni sono quelle classiche di un formato widescreen da 1920x1080px del tipo landscape e di un formato verticale da 1080x1920px del tipo portrait. Le procedure sono molto simili. Nel caso degli Avatar, in Avatar Library, ci sono 140 modelli di uomini e donne di diverse età e abbigliamento. Si seleziona uno di questi.

Prima di iniziare occorre sapere che gli account gratuiti possono creare video per una durata massima complessiva di un minuto ogni mese. Andando sulla icona a forma di diamante giallo in alto a destra potremo visualizzare i piani.

Gli abbonamenti a pagamento vanno da un minimo di $48 al mese a un massimo di $240 al mese. Con un account Free potremo usare tutti gli Avatar pubblici e tutti i Template. Avremo anche un accesso completo all'Editor.

Le altre due funzionalità a cui si può accedere le vedremo in un prossimo articolo. Dopo aver selezionato l'avatar e aver scelto, p.e. il formato Landscape da 1920x1080 pixel, si va su Create Video per accedere all'Editor.

Nei video creati con gli account Free verrà aggiunto un watermark in basso a destra. Si digita un testo e HeyGen rileverà la lingua e mostrerà sulla destra gli strumenti per editarla. Si potrà riprodurre l'audio immediatamente.

Per aggiungere un'altra riga di testo si va su Invio. Ciascuna riga può essere riprodotta separatamente.

Al posto della digitazione di un testo, si può andare nella scheda Audio Script per caricare un file audio o per registrarlo sul momento. Il cursore di Speed serve per regolare la velocità di lettura mentre quello Pitch per regolare l'intonazione. Spostandolo a destra si aumenterà la frequenza della voce e a sinistra la si diminuirà.

Cliccando sulla voce prescelta potremo aprire una finestra in cui selezionare una nuova voce.

La voce può esser filtrata come genere e come lingua. Si può anche clonare una voce come abbiamo già visto farlo con lo strumento ElevenLabs. Per tale personalizzazione sono disponibili otto lingue tra cui l'italiano.

Anche questa funzionalità la vedremo una prossima volta. Si può ulteriormente personalizzare la riproduzione.

Sotto il testo infatti ci sono tre pulsanti, rispettivamente per aggiungere nella posizione del cursore una o più pause, ciascuna di 0,5 secondi, per tradurlo e per aggiungere un testo generato dalla intelligenza artificiale di ChatGPT.

Se intendete eliminare il watermark, allora è preferibile creare il video con lo sfondo omogeneo. In caso contrario, si possono aggiungere altri elementi. A tale scopo si clicca per esempio nella scheda Text per aggiungerlo.

Si può aggiungere un testo per il Titolo, per il Sottotitolo o con le dimensioni del Corpo. Si possono usare anche dei testi predefiniti mostrati nella scheda. In ogni caso si può posizionare e ridimensionare il rettangolo del testo.

Si può anche scegliere la famiglia del font, le dimensioni dei caratteri e il colore del testo oltre al suo allineamento.

Andando su Element si possono aggiungere Cornici, Sticker, Icone, Immagini, Video, Forme e Musica.

Dopo aver aggiunto un elemento,, si tocca sulla icona dei Livelli (Layers) per posizionare quello selezionato sopra o sotto gli altri. Se si aggiunge musica, questa verrà inserita in una traccia sottostante della Timeline.

La lunghezza del brano si adatterà a quella del video. Si clicca sopra alla traccia della musica per regolarne il volume e per aggiungere o meno la Dissolvenza in Entrata e/o in Uscita. Infine si va su Submit in alto a destra.

Si può visualizzare una Preview prima di sottomettere definitivamente il video. Questa però sarà senza animazione. Si va su Submit se siamo soddisfatti della voce e della eventuale musica di sottofondo inserita nel video.

Visualizzeremo un messaggio per la conferma della creazione della animazione con il numero di crediti consumati e quelli rimasti. Il rendering del video potrà durare qualche minuto e ne vedremo la percentuale già completata.

Quando la codifica sarà terminata potremo riprodurre il nostro filmato dalla scheda Video. Poi si clicca sul menù.

Si può rinominare il video o dargli un nome per la prima volta. Si può editare nuovamente, trovare il suo ID identificativo, caricarlo su uno spazio nel cloud o eliminarlo andando su Trash. Cliccando sulla icona della freccia che punta in basso, lo potremo scaricare in formato MP4 e con la risoluzione impostata prima di aprire l'editor.