LayerGS: Decomposizione e Inpainting di Avatar Umani 3D a Strati tramite Gaussian Splatting 2D

Nuova Ricerca Sulla Decomposizione di Avatar Umani 3D

Un nuovo studio, pubblicato su arXiv (arXiv:2601.05853v1), presenta un innovativo framework chiamato LayerGS per la decomposizione di avatar umani 3D a più strati, consentendo la separazione del corpo dagli indumenti. Questo approccio promette di superare i limiti dei metodi precedenti, che spesso vincolano i vestiti a una singola identità o faticano a gestire le aree occluse.

LayerGS utilizza una rappresentazione basata su Gaussiane 2D per codificare ogni strato, garantendo una geometria accurata e un rendering fotorealistico. Le regioni nascoste vengono ricostruite tramite inpainting, utilizzando un modello di diffusione 2D pre-addestrato con score-distillation sampling (SDS).

Il processo di addestramento si articola in tre fasi: dapprima si ricostruisce il modello canonico grossolano degli indumenti, seguito da un addestramento a più strati per recuperare i dettagli del corpo (strato interno) e degli indumenti (strato esterno). I risultati sperimentali, condotti su due dataset di riferimento 3D (4D-Dress, Thuman2.0), dimostrano una qualità di rendering e una decomposizione migliori rispetto allo stato dell’arte. Questo progresso facilita la creazione di applicazioni immersive, come la prova virtuale di abiti da nuove prospettive e pose, aprendo nuove possibilità per la creazione di asset umani 3D ad alta fedeltà.

Il codice sorgente è disponibile su GitHub all’indirizzo: https://github.com/RockyXu66/LayerGS


Paper: ArXiv.org

GaussianSwap: Scambio di volti animabile con Gaussian Splatting 3D

GaussianSwap: Una Nuova Frontiera nello Scambio di Volti Video

Il nuovo framework GaussianSwap rappresenta un passo avanti nello scambio di volti video, utilizzando il 3D Gaussian Splatting per creare avatar facciali animabili. A differenza dei metodi tradizionali basati su pixel, GaussianSwap permette di manipolare interattivamente i volti scambiati.

Il processo inizia con l’analisi del video di destinazione per estrarre parametri FLAME, pose della fotocamera e maschere di segmentazione. Successivamente, i Gaussian splat 3D vengono collegati al modello FLAME, consentendo il controllo dinamico del volto. Per garantire la conservazione dell’identità, viene incorporato un embedding di identità composito, derivato da tre modelli di riconoscimento facciale all’avanguardia, per la messa a punto dell’avatar.

Il risultato è un avatar con il volto scambiato che si integra perfettamente nei fotogrammi di sfondo, offrendo risultati superiori in termini di conservazione dell’identità, chiarezza visiva e consistenza temporale. Questo apre la strada a nuove applicazioni interattive, impensabili con le tecnologie precedenti. La ricerca è disponibile su arXiv, offrendo dettagli approfonditi sul metodo e sui risultati ottenuti.


Paper: ArXiv.org