Dois pesquisadores do MIT identificaram falhas significativas em modelos de machine learning quando aplicados a dados diferentes daqueles usados no treinamento. Eles mostram que, mesmo com grandes volumes de dados, o \u201cmelhor modelo\u201d pode ser o pior para uma parte relevante dos novos casos.<\/p>\n
O estudo, apresentado na NeurIPS 2025, analisa diagn\u00f3sticos por radiografia de t\u00f3rax treinados em um hospital e avaliados em outro. Em m\u00e9dia, modelos de alto desempenho no primeiro hospital perdem efic\u00e1cia em at\u00e9 75% dos pacientes do segundo hospital, revelando fragilidades antes ocultas pela m\u00e9dia agregada.<\/p>\n
Essa descoberta aponta que correla\u00e7\u00f5es esp\u00farias persistem mesmo com melhoria de desempenho nos dados observados. Tais vieses aparecem em \u00e1reas como radiologia, histopatologia oncol\u00f3gica e detec\u00e7\u00e3o de discurso de \u00f3dio, dificultando a confiabilidade em novos ambientes.<\/p>\n
Os autores destacam que o treinamento pode inadvertidamente associar padr\u00f5es irrelevantes a determinados diagn\u00f3sticos. Quando esses padr\u00f5es n\u00e3o existem no novo ambiente, o modelo falha mesmo sendo eficaz na amostra original.<\/p>\n
O principal objetivo \u00e9 evitar que a avalia\u00e7\u00e3o por m\u00e9dia esconda problemas. Para isso, foi criada uma t\u00e9cnica chamada OODSelect, que identifica cen\u00e1rios em que a tal \u201cabrang\u00eancia de acur\u00e1cia\u201d falha ao transferir o modelo.<\/p>\n
O m\u00e9todo compara milhares de modelos treinados com dados do primeiro ambiente e testa sua performance em um segundo ambiente. Os padr\u00f5es de erro ajudam a isolar subpopula\u00e7\u00f5es onde a acur\u00e1cia n\u00e3o se sustenta.<\/p>\n
Os pesquisadores tamb\u00e9m destacam a limita\u00e7\u00e3o de estat\u00edsticas agregadas, que podem esconder informa\u00e7\u00f5es cr\u00edticas sobre desempenho em grupos espec\u00edficos de pacientes.<\/p>\n
Os resultados indicam caminhos para aprimorar modelos em cen\u00e1rios reais. Identificar subconjuntos com baixo desempenho permite ajustes direcionados e melhorias mais consistentes.<\/p>\n
A equipe recomenda que futuras pesquisas adotem OODSelect para orientar avalia\u00e7\u00f5es e estrat\u00e9gias de design. O c\u00f3digo liberado facilita replica\u00e7\u00e3o e amplia\u00e7\u00e3o dos experimentos.<\/p>\n","protected":false},"excerpt":{"rendered":"