Aprimora a explicabilidade de previsões geradas por IA

Pesquisadores da MIT desenvolveram um método que usa conceitos aprendidos pelo modelo para explicar suas previsões, melhorando precisão e explicações em IA.
A abordagem extrai conceitos já internalizados pelo modelo durante o treinamento e os converte em linguagem simples, evitando depender de conceitos definidos previamente por humanos.
O sistema utiliza um autoencoder esparso para selecionar os recursos mais relevantes e convertê-los em conceitos, com um modelo de linguagem multimodal descrevendo cada conceito.
O método restringe o modelo a usar apenas cinco conceitos por previsão, tornando as explicações mais claras e evitando “filtragem” de informações indesejadas.
Em testes com identificação de espécies de aves e de lesões cutâneas, a abordagem alcançou maior acurácia e explicações mais precisas em comparação com modelos CBMs tradicionais; os pesquisadores planejam ampliar o conjunto de dados e reduzir vazamento de informações.

Em uma linha de pesquisa voltada para explicabilidade de IA, cientistas da MIT apresentaram uma abordagem que melhora a precisão e a clareza das explicações fornecidas por modelos de visão computacional.

O objetivo é permitir que usuários avaliem a confiabilidade de previsões em áreas críticas, como saúde e condução autônoma. A técnica busca revelar quais conceitos internos guiam a decisão do modelo.

A proposta usa um modelo de gargalo de conceitos, mas em vez de depender apenas de conceitos predefinidos por humanos, o método extrai conhecimentos já aprendidos pelo modelo durante o treinamento. O resultado é uma explicação mais fiel à lógica do sistema.

Para isso, um par de modelos de IA trabalha de forma conjunta: um autoencoder esparso identifica as características relevantes, e um modelo multimodal de linguagem descreve esses conceitos em linguagem simples.

O conjunto de dados é anotado pelo modelo multimodal, indicando quais conceitos estão presentes em cada imagem. Essa anotação orienta o treinamento de um módulo de gargalo que passa a usar apenas os conceitos aprendidos.

Ao limitar o uso a cinco conceitos por previsão, o método reduz a possibilidade de vazamento de informações não desejadas e facilita a compreensão das explicações.

Em testes com tarefas como identificação de espécies de aves e detecção de lesões cutâneas, a nova abordagem atingiu maior precisão e proporcionou explicações mais precisas do que CBMs convencionais.

Os autores destacam que ainda há trade-off entre interpretabilidade e desempenho, observando que modelos black-box continuam a registrar ganhos superiores em alguns casos.

Entre as perspectivas, há planos para ampliar o conjunto de dados de treinamento com um modelo multimodal maior e para investigar soluções que previnam o vazamento de conceitos indesejados.

A pesquisa contou com apoio de universidades, agências italianas de fomento e parcerias da União Europeia, além de entidades da indústria. O estudo será apresentado em uma conferência internacional de aprendizado de representação.