PartDexTOG: Afferrare oggetti con destrezza e orientamento al compito tramite l’analisi delle parti guidata dal linguaggio

Nuova tecnica per la presa di oggetti con mani robotiche

Un recente studio pubblicato su arXiv (2505.12294v2) presenta PartDexTOG, un innovativo metodo per la presa di oggetti da parte di robot con mani dexterous (capaci di movimenti complessi e precisi). La ricerca, focalizzata sull’afferrare oggetti in modo efficiente, si basa sull’analisi delle parti degli oggetti, guidata dal linguaggio naturale.

Le mani dexterous offrono maggiore precisione e versatilità, ma la loro programmazione è complessa. PartDexTOG affronta questa sfida utilizzando modelli linguistici di grandi dimensioni (LLM) per comprendere la funzione delle diverse parti di un oggetto e generare descrizioni dettagliate della presa in base al compito da svolgere. Ad esempio, se il compito è ‘versare l’acqua’, il sistema individuerà la parte ‘manico’ e genererà una presa adatta.

Il sistema utilizza un modello di diffusione condizionata per generare prese dexterous per ogni parte dell’oggetto. Un algoritmo di consistenza geometrica seleziona poi la combinazione di presa e parte più plausibile. I risultati ottenuti sul dataset OakInk-shape mostrano miglioramenti significativi rispetto alle tecniche precedenti, dimostrando una notevole capacità di adattamento a nuove categorie di oggetti e compiti.

PartDexTOG rappresenta un significativo passo avanti nella robotica, aprendo nuove possibilità per l’automazione di compiti complessi che richiedono manipolazione precisa e adattabile.


Paper: ArXiv.org