- Governança tradicional de IA pode ficar defasada diante da velocidade da tecnologia; políticas levam tempo para serem aprovadas e podem já estar desatualizadas.
- Propõe-se focar nos “pesadelos éticos” — cenários worst-case envolvendo IA — para definir riscos, prevenir desastres e comunicar de forma clara a todos na organização.
- Vantagens incluem: definir sucesso/falha por resultados, comunicar riscos de forma universal, gerar urgência com impactos reais, criar alinhamento interno e revelar caminhos de origem dos problemas para prevenir futuros incidentes.
- Método Ethical Nightmare Challenge envolve três perguntas-chave sobre pesadelos éticos, recursos para evitá-los e treinamento para uso eficaz desses recursos.
- Surgem equipes ENC (Ethical Nightmare Challenge), pequenas e multidisciplinares, com foco na identificação, mitigação de riscos e agilidade na implementação, complementando, não substituindo, programas de governança já existentes.
A gestão de riscos da IA ganha velocidade e precisa de novas estratégias. Políticas corporativas e comitês tradicionais demoram a aprovar e ficam defasados frente à evolução rápida da tecnologia. Em alguns casos, a aprovação leva mais de um ano.
O pesquisador Reid Blackman, especialista em governança de IA, propõe focar nos “pesadelos éticos” — cenários extremos envolvendo IA. Em artigo, ele sugere iniciar as discussões pelos potenciais desastres para prevenir danos reais.
Essa mudança de perspectiva oferece vantagens concretas: define sucesso por resultados, facilita a compreensão dos riscos por todos os níveis e gera urgência com base em consequências reais, não apenas abstrações.
A ideia é criar uma linguagem comum entre equipes, do cientista de dados ao conselho de administração, para fortalecer a comunicação sobre riscos. Assim, desfechos ruins passam a ser reconhecidos mais rapidamente.
Pesadelos também ajudam a alinhar valores como justiça e transparência, que costumam ficar em segundo plano no dia a dia corporativo, mas ganham relevância quando causam danos a pessoas, documentos ou clientes.
A abordagem descrita por Blackman inclui a explicação de como surgem os riscos, permitindo definir estratégias específicas para evitá-los antes do pior acontecer.
Desafio do Pesadelo Ético
O autor aponta um método que envolve três perguntas centrais. Quais pesadelos éticos a organização enfrenta com IA? Que recursos serão criados para evitá-los? Como treinar pessoas para usar esses recursos?
Essa tríade pode ser utilizada por qualquer profissional, de liderança a equipes específicas, adaptando-se à área de atuação. A ideia é promover reflexões contínuas sobre riscos reais.
Em seguida, surge a sugestão de equipes ENC (Ethical Nightmare Challenge). Grupos pequenos, multidisciplinares e ágeis atuam em qualquer nível da organização para mitigar pesadelos identificados.
Essas equipes trabalham de forma colaborativa, repetindo as três perguntas em diferentes contextos e temas. O objetivo é criar uma linguagem comum que facilite a cooperação entre áreas.
Implementação e impacto
Os grupos ENC não substituem governança tradicional, mas complementam com agilidade e foco em resultados. A responsabilidade pela identificação de riscos passa a ser distribuída pela organização.
Segundo o pesquisador, o resultado é uma organização capaz de evitar desastres de IA sem depender exclusivamente de um comitê central. A habilidade de agir rapidamente passa a fazer parte da cultura corporativa.
Entre na conversa da comunidade