Pubblicato il 13/06/24 - aggiornato il  | Nessun commento :

Eliminare i dialoghi dai video con la AI lasciando musica e effetti sonori

Come eliminare le voci dall'audio di un video lasciando tutto il resto come musica, effetti sonori e rumori con la AI del plugin OpenVINO di Audacity

I creatori di video spesso utilizzano dei doppiaggi su filmati celebri per realizzare delle satire o per veicolare delle loro idee. La difficoltà in queste realizzazioni sta nella difficile separazione tra dialoghi presenti nel video e eventuale musica di sottofondo e rumori dovuti a effetti o ad azioni dei protagonisti. Senza software professionali in passato era difficile depurare gli audio dei video dai dialoghi, lasciando tutto il resto come effetti, rumori e musica.

Adesso con l'ausilio della intelligenza artificiale possiamo ottenere dei risultati sorprendenti e eliminare completamente la parte parlata da una clip lasciando tutto il resto dell'audio. Per pubblicare un tutorial su Youtube in modo da illustrare come arrivare a questo risultato ho dovuto utilizzare un video senza vincoli di copyright.

La procedura che andrò a illustrare è però utilizzabile con qualsiasi clip video. Magari i risultati non saranno tutti perfetti ma vi si avvicineranno parecchio. La clip che userò come test l'ho estratta da un video che ho trovato nella Library of Congress degli Stati Uniti dove si trovano filmati molto antichi e quindi esenti da copyright.

La separazione tra la parte parlata dell'audio e tutto il resto la realizzeremo con il programma gratuito Audacity, open source e installabile su Windows, MacOSX e Linux. Per installare Audacity si clicca sul pulsante di sinistra colorato di celeste, Download Audacity with no extras. Nel momento in cui pubblico questo post la versione più recente di Audacity è la 3.5.1 che è quella che supporta il plugin OpenVINO per l'intelligenza artificiale.

Per installare questo plugin su Audacity si seguono le istruzioni di questa guida. Sostanzialmente si scarica il plugin OpenVINO da GitHub in forma di file .exe su cui fare un doppio click per procedere alla sua installazione.

Dopo l'attivazione del plugin OpenVINO, tra le altre cose, si può generare musica con la AI e si può separare la musica dalla voce in una canzone. L'intelligenza artificiale riesce anche a separare le tracce di alcuni strumenti come il basso e la batteria. La AI riesce infatti a rilevare il parlato presente in una audio e a separarlo dal resto.

Sfruttando questa funzionalità si può quindi estrarre i dialoghi dall'audio di un video e eliminarli lasciando tutto il resto come una musica di sottofondo ma anche altri tipi di audio come i rumori presenti in una scena di azione.

Ho pubblicato sul mio Canale Youtube una guida per eliminare le voci dall'audio di un video con Audacity.

Si fa andare Audacity con il plugin OpenVINO quindi nel centro della sua interfaccia si trascina il file video.

Audacity rileverà solo l'audio del file video e creerà una traccia costituita da uno o due spettri d'onda a seconda che l'audio sia mono o stereo. Si seleziona la traccia cliccando sul relativo pulsante in basso a sinistra della stessa.

dividere traccia audio

Lo sfondo della traccia diventerà più chiaro. Si clicca quindi nel menù su Effetti per aprire il suo menù verticale.

Tra le voci di tale menù si va su OpenVINO Music Separation che aprirà una finestra. In Separation Mode si sceglie 2 Stem per dividere la traccia in 2 parti, una strumentale e una vocale. Nella parte strumentale vengono aggiunti tutti gli audio che siano diversi da una voce e quindi musica, effetti, rumori e altro ancora.

Si va su Applica e si attende la fine del processo che di solito dura circa un terzo della durata della traccia.

esportazione audio senza voce

Si individua la traccia Instrumental e si clicca su Solo alla sua sinistra. Si va poi sul pulsante del Play per riprodurla. Ascolteremo tutto l'audio del video però senza la parte vocale. Si passa quindi al suo salvataggio.

Avendo attivato Solo nella traccia Instrumental si clicca su File → Esporta Audio per aprire un popup.

esportazione di audio non vocale

Nella finestra si digita il nome del file, si sceglie la sua cartella di destinazione, si sceglie il formato tra i molti supportati, opzionalmente si modificano i parametri di frequenza, bit-rate e qualità quindi si va su Esporta.

Avremo quindi un file audio che sarà come quello originale del video ma a cui è stata tolta la parte vocale.

SOSTITUIRE L'AUDIO CON CAPCUT ONLINE

Per sostituire l'audio originale con quello depurato dei dialoghi, si possono usare moltissimi programmi di editing video gratuiti come Shotcut e DaVinci Resolve. Si può usare anche uno strumento online come CapCut.

Si apre CapCut online e si accede con Google, con TikTok, con Facebook o con indirizzo email creato con CapCut per il mobile. Si sceglie Video in alto quindi si clicca su Nuovo Video e si va nella colonna di sinistra.

sostituzione audio

Si seleziona la scheda File Multimediali quindi si va su Carica → Carica il file per aprire Esplora File in cui selezionare il video originale e l'audio senza voci appena salvato da Audacity. Si trascina il video nella Timeline.

Verrà creata una traccia. Si clicca sulla icona dell'altoparlante a sinistra della traccia per silenziare l'audio del video. Si trascina quindi il file esportato da Audacity nella traccia sottostante. In questo modo l'audio da cui è stata eliminata la voce sostituirà quello originale. Si dà un nome al video in alto a sinistra dell'anteprima.

Se adesso si riproduce la Timeline visualizzeremo il video con l'audio senza parlato ma con gli altri suoni. Si va quindi in alto a destra su Esporta per salvare il video con il nuovo audio. Nella scheda che si apre si va su Scarica.

esportare video con capcut

Nella scheda successiva si digita il nome del video, se non lo si è già fatto, si sceglie la risoluzione 1080p, si imposta la massima qualità, si seleziona il frame rate e il formato (MP4 o MOV) e si va su Esporta per scaricare un video, identico all'originale, ma con l'audio senza i dialoghi parlati ma con tutto il resto cioè musica, suoni e effetti.



Nessun commento :

Posta un commento

Non inserire link cliccabili altrimenti il commento verrà eliminato. Metti la spunta a Inviami notifiche per essere avvertito via email di nuovi commenti.
Info sulla Privacy