MIT identifica falhas em modelos de ML ao serem aplicados fora do conjunto de treinamento, levantando a necessidade de testes em novos ambientes. O estudo aponta casos onde o melhor modelo, em m\u00e9dia, pode ser o pior para 6% a 75% dos casos em outra configura\u00e7\u00e3o.<\/p>\n
Os pesquisadores mostram que, mesmo com grandes volumes de dados, correla\u00e7\u00f5es esp\u00farias persistem e afetam a confiabilidade das previs\u00f5es. Modelos treinados para diagnosticar doen\u00e7as em raios-X de um hospital podem ter bom desempenho agregado, mas falhar em larga parte dos pacientes de outro hospital.<\/p>\n
Em um artigo apresentado no NeurIPS 2025, a equipe descreve como modelos podem aprender a associar marcadores irrelevantes de uma institui\u00e7\u00e3o a uma patologia. Em outro hospital, sem esses marcadores, a precis\u00e3o cai substantivamente.<\/p>\n
Os resultados destacam que melhorar o desempenho na amostra original n\u00e3o elimina riscos de erros em novos cen\u00e1rios. Casos como radia\u00e7\u00e3o pleural ou aumento do mediastino podem reduzir a efic\u00e1cia de diagn\u00f3sticos, mesmo com alta m\u00e9dia.<\/p>\n
O grupo cita tamb\u00e9m que correla\u00e7\u00f5es com idade, g\u00eanero ou ra\u00e7a podem distorcer diagn\u00f3sticos quando a distribui\u00e7\u00e3o de dados muda. A recomenda\u00e7\u00e3o \u00e9 que os modelos foquem nas caracter\u00edsticas anat\u00f4micas relevantes, sem depender de fatores correlacionados no ambiente.<\/p>\n
O estudo apresenta o algoritmo OODSelect, que identifica situa\u00e7\u00f5es em que a precis\u00e3o na amostra original n\u00e3o se sustenta. Ele treinou milhares de modelos com dados da primeira configura\u00e7\u00e3o e testou em dados da segunda.<\/p>\n
Ao detectar subconjuntos com desempenho ruim, o m\u00e9todo ajuda a isolar problemas e oferece caminhos para melhorias espec\u00edficas. Os autores alertam sobre o uso de estat\u00edsticas agregadas que ocultam falhas.<\/p>\n
Para o avan\u00e7o pr\u00e1tico, o grupo disponibiliza o c\u00f3digo e subconjuntos identificados. Eles sugerem que \u00f3rg\u00e3os, empresas ou hospitais usem o OODSelect para orientar avalia\u00e7\u00f5es e aprimoramentos de modelos.<\/p>\n
Os pesquisadores destacam que, ao reconhecer subconjuntos de pior desempenho, \u00e9 poss\u00edvel adaptar modelos para tarefas e ambientes espec\u00edficos, elevando a confiabilidade das decis\u00f5es com ML.<\/p>\n","protected":false},"excerpt":{"rendered":"