O cientista-chefe da OpenAI, Jakub Pachocki, defende que o desenvolvimento de sistemas de inteligência artificial seja condicionado à confiança nas medidas de segurança. Em ensaio publicado no domingo (6), ele afirma que nenhum laboratório resolveu o alinhamento e o monitoramento em grau suficiente para manter por muito mais tempo a velocidade máxima de expansão da IA.
Pachocki não propõe interromper a pesquisa. Para ele, modelos mais avançados podem ser necessários para criar defesas contra riscos produzidos por outras IAs, especialmente na cibersegurança. Ao mesmo tempo, afirma que essa necessidade não justifica avançar sem critérios diante da dimensão dos riscos.
Sistemas mais capazes, compreensão menor
O pesquisador descreve uma transformação desde 2023, quando resultados do projeto RLSlow deram à equipe confiança para ampliar o treinamento de modelos de raciocínio. Três anos depois, segundo Pachocki, esses sistemas conseguem operar computadores e interfaces gráficas, colaborar com pessoas e outras IAs e executar projetos de pesquisa.
Também houve avanços em capacidades ligadas à segurança cibernética. A evolução, porém, tornou os resultados mais difíceis de interpretar. Pachocki afirma que a inteligência produzida pelo deep learning não é diretamente comparável à humana e que se torna mais difícil determinar o alcance dos sistemas à medida que eles superam pessoas em mais áreas.
Na avaliação do cientista, a IA é mais cultivada do que projetada. Os modelos resultam da repetição de processos de otimização em grandes volumes de computação, o que produz sistemas extremamente complexos, cujo funcionamento geral ainda não pode ser completamente descrito ou compreendido.
O desafio do alinhamento
Pachocki separa o alinhamento de objetivos, ligado à execução do que foi determinado, do alinhamento de valores, relacionado à capacidade de aplicar princípios a situações novas ou ambíguas. O problema aumenta quando os sistemas passam a operar em ambientes diferentes daqueles presentes no treinamento.
As futuras IAs, diz o pesquisador, precisarão manter valores humanos mesmo quando não acreditarem estar sob supervisão. A OpenAI usa, entre outras abordagens, o monitoramento da cadeia de pensamento para examinar o raciocínio verbalizado dos modelos. Avaliações da empresa indicam, contudo, que a dependência desse recurso vem diminuindo.
Pachocki relaciona essa redução ao uso dos modelos em ambientes mais complexos, à capacidade de raciocinar sobre o próprio raciocínio e ao aumento da inteligência mesmo sem raciocínio verbalizado.
Autoaperfeiçoamento e desaceleração
Com base em resultados internos, o cientista afirma ter forte expectativa de que o ritmo atual possa continuar até o autoaperfeiçoamento recursivo, ou RSI. Nesse cenário, os sistemas passariam a participar cada vez mais do próprio desenvolvimento e poderiam ocupar papel central em futuras descobertas científicas.
Pachocki apresenta duas alternativas: conduzir o avanço fortalecendo simultaneamente alinhamento e monitoramento, com pessoas envolvidas no ciclo de desenvolvimento, ou coordenar uma desaceleração enquanto se busca mais confiança nas medidas de segurança. A preferência expressa no ensaio é combinar as duas opções.
Ele defende que compromissos como o Preparedness Framework, da OpenAI, e o Responsible Scaling Policy, da Anthropic, evoluam para parâmetros de segurança amplamente adotados. Esses critérios poderiam ser fiscalizados por auditorias independentes, governos ou organismos internacionais.
O pesquisador também afirma que a coordenação internacional sobre o futuro da IA deve se tornar prioridade para os governos. Para ele, a automação da pesquisa não deve buscar apenas sistemas mais inteligentes, mas preservar a participação humana no processo de melhoria e o controle das pessoas sobre o futuro.
