- Pesquisadores do MIT apresentaram, no NeurIPS 2025, estudo sobre modelos de IA treinados em prontuários eletrônicos desidentificados que podem memorizar informações de pacientes.
- O trabalho sugere um conjunto de testes práticos para avaliar vazamento de dados em contextos de saúde e medir riscos reais para a privacidade.
- Os experimentos mostraram que quanto mais dados conhecidos o atacante possui sobre um paciente, maior a chance de o modelo vazar informações, distinguindo memorization de generalização.
- O estudo aponta que certos vazamentos são mais nocivos que outros, como revelar idade ou dados demográficos em comparação a diagnósticos sensíveis (ex.: HIV) ou padrões de uso de substâncias.
- A iniciativa busca orientar avaliações de privacidade futuras e envolve colaboração com a Jameel Clinic e pesquisadores de privacidade, ética e legislação.
O MIT está investigando o risco de memorizaçao em modelos de IA aplicados a prontuários médicos. O estudo, apresentado na conferência NeurIPS 2025, avalia como modelos treinados com registros médicos eletrônicos desidentificados podem memorizar dados de pacientes. A pesquisa propõe um protocolo de teste para impedir que prompts específicos revelem informações sensíveis, avaliando o risco no contexto da saúde.
Os autores destacam que modelos de grande porte devem generalizar conhecimentos a partir de múltiplos prontuários. Contudo, a prática de memorizar informações de um único paciente pode violar a privacidade. O trabalho reforça que vazamentos de dados já são conhecidos em modelos avançados, e aponta a necessidade de avaliações práticas antes do lançamento de sistemas.
“Conhecimento nesses modelos pode beneficiar comunidades, mas atacantes podem explorar dados de treinamento por meio de prompts”, afirma Sana Tonekaboni, pesquisadora associada do Broad Institute (MIT/Harvard) e autora principal. A equipe busca métodos que auxiliem a medir o risco de forma objetiva antes da liberação de modelos.
Para mensurar o potencial de vazamento em IA médica, a equipe desenvolveu uma bateria de testes, com foco em diferentes níveis de incerteza e risco prático para pacientes. Os testes comparam casos de generalização do modelo com memorizaçao em nível de paciente.
Os testes mostram que quanto mais informações o atacante conhece sobre um paciente, maior a chance de vazamento. Por outro lado, números de idade e dados demográficos costumam representar vazamento menos grave que diagnósticos sensíveis. Pacientes com condições únicas aparecem como grupo com maior vulnerabilidade.
A pesquisa enfatiza que soluções devem ser interdisciplinares, com participação de clínicos, especialistas em privacidade e jurídicos. Os resultados indicam caminhos para avaliações mais rigorosas antes de disponibilizar modelos médicos amplos ao público.
O estudo contou com apoio de instituições como o Broad Institute, fundações e organizações de financiamento à pesquisa. As equipes envolvidas ressaltam a importância de preservar a privacidade dos dados de saúde, mesmo com prontuários desidentificados, para manter a confiança na prática médica.
Entre na conversa da comunidade