GaussianSwap: Una Nuova Frontiera nello Scambio di Volti Video
Il nuovo framework GaussianSwap rappresenta un passo avanti nello scambio di volti video, utilizzando il 3D Gaussian Splatting per creare avatar facciali animabili. A differenza dei metodi tradizionali basati su pixel, GaussianSwap permette di manipolare interattivamente i volti scambiati.
Il processo inizia con l’analisi del video di destinazione per estrarre parametri FLAME, pose della fotocamera e maschere di segmentazione. Successivamente, i Gaussian splat 3D vengono collegati al modello FLAME, consentendo il controllo dinamico del volto. Per garantire la conservazione dell’identità, viene incorporato un embedding di identità composito, derivato da tre modelli di riconoscimento facciale all’avanguardia, per la messa a punto dell’avatar.
Il risultato è un avatar con il volto scambiato che si integra perfettamente nei fotogrammi di sfondo, offrendo risultati superiori in termini di conservazione dell’identità, chiarezza visiva e consistenza temporale. Questo apre la strada a nuove applicazioni interattive, impensabili con le tecnologie precedenti. La ricerca è disponibile su arXiv, offrendo dettagli approfonditi sul metodo e sui risultati ottenuti.
Paper: ArXiv.org