Aprimora a explicabilidade de previsões geradas por IA

Em uma linha de pesquisa voltada para explicabilidade de IA, cientistas da MIT apresentaram uma abordagem que melhora a precisão e a clareza das explicações fornecidas por modelos de visão computacional.

O objetivo é permitir que usuários avaliem a confiabilidade de previsões em áreas críticas, como saúde e condução autônoma. A técnica busca revelar quais conceitos internos guiam a decisão do modelo.

A proposta usa um modelo de gargalo de conceitos, mas em vez de depender apenas de conceitos predefinidos por humanos, o método extrai conhecimentos já aprendidos pelo modelo durante o treinamento. O resultado é uma explicação mais fiel à lógica do sistema.

Para isso, um par de modelos de IA trabalha de forma conjunta: um autoencoder esparso identifica as características relevantes, e um modelo multimodal de linguagem descreve esses conceitos em linguagem simples.

O conjunto de dados é anotado pelo modelo multimodal, indicando quais conceitos estão presentes em cada imagem. Essa anotação orienta o treinamento de um módulo de gargalo que passa a usar apenas os conceitos aprendidos.

Ao limitar o uso a cinco conceitos por previsão, o método reduz a possibilidade de vazamento de informações não desejadas e facilita a compreensão das explicações.

Em testes com tarefas como identificação de espécies de aves e detecção de lesões cutâneas, a nova abordagem atingiu maior precisão e proporcionou explicações mais precisas do que CBMs convencionais.

Os autores destacam que ainda há trade-off entre interpretabilidade e desempenho, observando que modelos black-box continuam a registrar ganhos superiores em alguns casos.

Entre as perspectivas, há planos para ampliar o conjunto de dados de treinamento com um modelo multimodal maior e para investigar soluções que previnam o vazamento de conceitos indesejados.

A pesquisa contou com apoio de universidades, agências italianas de fomento e parcerias da União Europeia, além de entidades da indústria. O estudo será apresentado em uma conferência internacional de aprendizado de representação.