Memorizzazione nei modelli linguistici di grandi dimensioni in medicina
I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un potenziale significativo in medicina, con molti studi che li adattano attraverso il pre-addestramento continuo o la messa a punto su dati medici per migliorare l’accuratezza e la sicurezza specifiche del dominio. Tuttavia, una domanda chiave rimane aperta: in che misura gli LLM memorizzano i dati di addestramento medico? La memorizzazione può essere vantaggiosa quando consente agli LLM di conservare preziose conoscenze mediche durante l’adattamento al dominio. Tuttavia, solleva anche preoccupazioni. Gli LLM possono riprodurre inavvertitamente contenuti clinici sensibili (ad esempio, dettagli specifici del paziente) e un’eccessiva memorizzazione può ridurre la generalizzabilità del modello, aumentando i rischi di diagnosi errate e di raccomandazioni ingiustificate. Questi rischi sono ulteriormente amplificati dalla natura generativa degli LLM, che possono non solo far emergere contenuti memorizzati, ma anche produrre output fuorvianti e troppo sicuri di sé che possono ostacolare l’adozione clinica.
Questo studio analizza sistematicamente scenari di adattamento comuni: (1) pre-addestramento continuo su corpora medici, (2) messa a punto su benchmark medici standard e (3) messa a punto su dati clinici reali, inclusi oltre 13.000 registri di pazienti ricoverati dello Yale New Haven Health System. I risultati dimostrano che la memorizzazione è prevalente in tutti gli scenari di adattamento e significativamente più alta di quella riportata nel dominio generale. Inoltre, la memorizzazione ha caratteristiche distinte durante il pre-addestramento continuo e la messa a punto ed è persistente: fino all’87% dei contenuti memorizzati durante il pre-addestramento continuo rimane dopo la messa a punto su nuove attività mediche.
Paper: ArXiv.org