Por que é crucial ir além de métricas agregadas em ML

Pesquisadores do MIT mostram falhas de modelos de ML ao serem usados em dados diferentes dos de treino, questionando a necessidade de testes em novos ambientes.
Em NeurIPS 2025, o estudo aponta que, mesmo com grandes conjuntos de dados, o “melhor” modelo pode ser o pior em até 75 percent dos pacientes em um segundo hospital.
Os resultados sugerem que correlações espúrias não são resolvidas apenas com melhoria de desempenho nos dados observados e afetam a confiabilidade em cenários novos.
OODSelect é um algoritmo que identifica subconjuntos onde a acurácia cai na transferência entre ambientes, revelando problemas não vistos em médias agregadas.
Recomenda-se usar o OODSelect para orientar avaliações e aperfeiçoar modelos, com código e subconjuntos disponibilizados para pesquisas futuras.

Dois pesquisadores do MIT identificaram falhas significativas em modelos de machine learning quando aplicados a dados diferentes daqueles usados no treinamento. Eles mostram que, mesmo com grandes volumes de dados, o “melhor modelo” pode ser o pior para uma parte relevante dos novos casos.

O estudo, apresentado na NeurIPS 2025, analisa diagnósticos por radiografia de tórax treinados em um hospital e avaliados em outro. Em média, modelos de alto desempenho no primeiro hospital perdem eficácia em até 75% dos pacientes do segundo hospital, revelando fragilidades antes ocultas pela média agregada.

Essa descoberta aponta que correlações espúrias persistem mesmo com melhoria de desempenho nos dados observados. Tais vieses aparecem em áreas como radiologia, histopatologia oncológica e detecção de discurso de ódio, dificultando a confiabilidade em novos ambientes.

Os autores destacam que o treinamento pode inadvertidamente associar padrões irrelevantes a determinados diagnósticos. Quando esses padrões não existem no novo ambiente, o modelo falha mesmo sendo eficaz na amostra original.

O principal objetivo é evitar que a avaliação por média esconda problemas. Para isso, foi criada uma técnica chamada OODSelect, que identifica cenários em que a tal “abrangência de acurácia” falha ao transferir o modelo.

OODSelect: encontrando cenários de falha

O método compara milhares de modelos treinados com dados do primeiro ambiente e testa sua performance em um segundo ambiente. Os padrões de erro ajudam a isolar subpopulações onde a acurácia não se sustenta.

Os pesquisadores também destacam a limitação de estatísticas agregadas, que podem esconder informações críticas sobre desempenho em grupos específicos de pacientes.

Os resultados indicam caminhos para aprimorar modelos em cenários reais. Identificar subconjuntos com baixo desempenho permite ajustes direcionados e melhorias mais consistentes.

A equipe recomenda que futuras pesquisas adotem OODSelect para orientar avaliações e estratégias de design. O código liberado facilita replicação e ampliação dos experimentos.