- O filósofo Nick Bostrom defende em um estudo que desenvolver superinteligência pode ser racional mesmo se houver até 97% de chance de extinção da humanidade.
- O trabalho compara o avanço da IA a uma cirurgia cardíaca de alto risco: sem a operação, a morte é inevitável; com ela, pode haver ganhos extraordinários de vida.
- Em um cenário conservador, uma IA alinhada aos interesses humanos poderia elevar a expectativa de vida para cerca de dois mil anos em países desenvolvidos, com média aproximada de 1.400 anos.
- O estudo analisa o timing ideal em duas fases: até a disponibilidade técnica da AGI (fase 1) e uma pausa deliberada entre disponibilidade e implantação (fase 2), destacando que pequenas mudanças na fase 2 podem alterar resultados.
- O principal insight: o tempo adequado de pausa é crucial — geralmente meses a poucos anos, com a máxima produtividade em segurança ocorrendo logo após a disponibilidade técnica, durante os primeiros estágios de testes e alinhamento.
Nick Bostrom, filósofo conhecido por alertas sobre riscos existenciais da IA, publicou um estudo que defende a possibilidade de desenvolver superinteligência ainda que haja alto risco de extinção. O trabalho, intitulado Optimal Timing for Superintelligence: Mundane Considerations for Existing People, propõe modelos matemáticos para avaliar decisões de timing.
O estudo sustenta que, sob certos parâmetros, pode ser racional avançar rumo à superinteligência mesmo com probabilidade de até 97% de danos para a humanidade. A ideia é comparar o avanço tecnológico a uma cirurgia de alto risco, em que a intervenção pode salvar vidas futuras, ainda que traga riscos imediatos.
Bostrom descreve a diferença entre uma roleta-russa e uma “cirurgia cardíaca” para justificar o argumento. Sem a operação, a mortalidade é certa com o tempo; com a operação, há potencial de prolongar a vida humana de forma expressiva, especialmente em cenários de envelhecimento e doenças.
O estudo parte de uma hipótese conservadora: uma IA superinteligente alinhada aos interesses humanos poderia reduzir mortalidade para níveis próximos de um adulto saudável de 20 anos em países desenvolvidos, elevando a expectativa de vida média a cerca de 1.400 anos.
Em entrevista à Wired, o autor afirmou que “se ninguém construir, todos morrem” e reforçou a ideia de otimizar o timing para reduzir mortes entre as pessoas atuais, que morreriam sem avanços médicos ou biotecnológicos.
Timing e fases
O autor divide o processo em duas fases. A Fase 1 abrange o período até a disponibilidade técnica da AGI, influenciado por dificuldades técnicas e competição entre atores. A Fase 2 trata de uma pausa deliberada entre a disponibilidade e a implantação em larga escala.
Segundo o estudo, pequenas pausas na Fase 2 podem ter impacto maior na segurança do que mudanças equivalentes na Fase 1. O chamado “safety windfall” descreve o ganho de segurança possível assim que a AGI exista e possa ser testada em ambientes controlados.
As tabelas do estudo indicam que, para muitos cenários, esperar por meses a poucos anos é o atraso ótimo, desde que o risco inicial não seja muito alto. A ideia central é equilibrar ganhos de segurança com custos de mortalidade.
Limites e avaliações
O trabalho reconhece que não há controle total sobre os cronogramas de desenvolvimento da AGI. O timing ideal pode não ser atingível na prática, e intervenções têm consequências além da data de lançamento.
Entre as considerações, o estudo aponta riscos de pausas mal implementadas, que podem deslocar o controle para atores menos responsáveis ou endurecer posições contrárias ao avanço. Também destaca desigualdades na distribuição dos benefícios.
O artigo enfatiza que o resultado depende do pressuposto de que a superinteligência seja alinhada. Desalinhamento poderia levar a consequências catastróficas, mesmo assim o estudo não desconsidera o alto potencial de ganho caso haja alinhamento confiável.
O que continua em aberto
Bostrom não defende a corrida desenfreada pela IA, mas recomenda avaliar com rigor o timing ideal para maximizar benefícios, mantendo foco na segurança. O pesquisador reforça a necessidade de testes de segurança que possam, em alguns casos, encurtar o caminho ao lançamento quando indicados.
O debate envolve também desigualdades regionais e demográficas, já que grupos mais vulneráveis podem ter menos tempo para esperar por avanços tecnológicos. O estudo apresenta um arcabouço teórico para decisões condicionadas às informações que surgem ao longo do tempo, sem fixar datas rígidas.
Entre na conversa da comunidade