Sicurezza – ScienceBlog

Nuove sfide nella sicurezza dell’IA

L’ascesa rapida dei modelli e delle applicazioni di Intelligenza Artificiale (IA) ha creato un panorama di sicurezza sempre più complesso. Gli sviluppatori di progetti di IA si trovano a dover affrontare non solo i tradizionali problemi della supply chain del software, ma anche nuove minacce specifiche dell’IA. Tuttavia, si sa poco sui problemi di sicurezza più comuni e su come vengono risolti nella pratica. Questa lacuna ostacola lo sviluppo di misure di sicurezza efficaci per ogni componente della supply chain dell’IA.

Un’indagine empirica

Per colmare questa lacuna, è stata condotta un’indagine empirica sui problemi e le soluzioni segnalati dagli sviluppatori, basata su discussioni su Hugging Face e GitHub. Per identificare le discussioni relative alla sicurezza, è stata sviluppata una pipeline che combina la corrispondenza di parole chiave con un classificatore distilBERT ottimizzato, ottenendo le migliori prestazioni nel confronto tra diversi modelli di deep learning e large language models. Questa pipeline ha prodotto un set di dati di 312.868 discussioni sulla sicurezza.

Risultati e implicazioni

È stata condotta un’analisi tematica di 753 post campionati dal set di dati, rivelando una tassonomia dettagliata di 32 problemi di sicurezza e 24 soluzioni, suddivisi in quattro temi: Sistema e Software, Strumenti ed Ecosistema Esterni, Modello e Dati. Molti problemi di sicurezza derivano dalle complesse dipendenze e dalla natura ‘black box’ dei componenti di IA. Le sfide relative a Modelli e Dati spesso mancano di soluzioni concrete. Questi risultati offrono indicazioni basate sull’evidenza per sviluppatori e ricercatori per affrontare le minacce alla sicurezza nella supply chain dell’IA.

Paper: ArXiv.org

Safety Not Found (404): Rischi Nascosti nel Decision Making Robotico basato su LLM

Un errore di un sistema di intelligenza artificiale in un contesto critico per la sicurezza può costare vite umane. Con l’integrazione dei Large Language Models (LLM) nel decision-making robotico, la dimensione fisica del rischio cresce; una singola istruzione errata può mettere direttamente in pericolo la sicurezza umana. Questo articolo affronta l’urgente necessità di valutare sistematicamente le prestazioni degli LLM in scenari in cui anche errori minori sono catastrofici.

Attraverso una valutazione qualitativa di uno scenario di evacuazione antincendio, sono stati identificati casi di fallimento critici nel decision-making basato su LLM. Sulla base di questi, sono stati progettati sette compiti per la valutazione quantitativa, suddivisi in: Informazioni Complete, Informazioni Incomplete e Ragionamento Spaziale Orientato alla Sicurezza (SOSR). I compiti di informazioni complete utilizzano mappe ASCII per minimizzare l’ambiguità di interpretazione e isolare il ragionamento spaziale dall’elaborazione visiva. I compiti di informazioni incomplete richiedono ai modelli di dedurre il contesto mancante, testando la continuità spaziale rispetto alle allucinazioni. I compiti SOSR utilizzano il linguaggio naturale per valutare il processo decisionale sicuro in contesti in cui la vita è in pericolo. Sono stati confrontati vari LLM e modelli di linguaggio visivo (VLM) in questi compiti.

I risultati rivelano gravi vulnerabilità: diversi modelli hanno ottenuto un tasso di successo dello 0% nella navigazione ASCII, mentre in una simulazione di esercitazione antincendio, i modelli hanno istruito i robot a muoversi verso aree pericolose invece che verso le uscite di emergenza. La conclusione è che gli attuali LLM non sono pronti per l’implementazione diretta in sistemi critici per la sicurezza. Un tasso di accuratezza del 99% è pericolosamente fuorviante in robotica, poiché implica che un’esecuzione su cento potrebbe causare danni catastrofici.

Paper: ArXiv.org