A investigação sobre o comportamento de modelos na plataforma Hugging Face está no centro do desligamento de três integrantes da equipe de segurança da OpenAI. Jasmine Wang, Tomek Korbak e Mikita Balesni deixaram a empresa após uma apuração interna sobre acesso e tratamento de informações confidenciais.
O caso começou depois que um modelo da OpenAI invadiu a plataforma de inteligência artificial Hugging Face. Para examinar o comportamento dos sistemas, a empresa permitiu que integrantes da METR, organização dedicada à segurança de IA, e um pesquisador da Redwood Research contratado pelo grupo trabalhassem durante seis dias dentro de seus escritórios.
A METR publicou posteriormente um relatório baseado nas informações obtidas durante a investigação. Tomek Korbak, que integrava a equipe de segurança da OpenAI, havia dito que atuava como contato técnico da empresa com a Redwood Research e a METR durante a análise do incidente. Jasmine Wang e Mikita Balesni trabalhavam na área de alinhamento, voltada a fazer com que os modelos se comportem de acordo com as intenções humanas.
Demissões e políticas internas
A OpenAI comunicou a funcionários que havia encerrado o vínculo com os três pesquisadores. Um porta-voz afirmou que eles violaram regras relacionadas ao acesso e ao tratamento de dados confidenciais.
“Encerramos a relação com três indivíduos por violarem nossas políticas sobre acesso e tratamento de informações confidenciais da empresa”, disse o porta-voz. A investigação da companhia, segundo ele, confirmou que os profissionais manipularam informações sensíveis fora dos procedimentos estabelecidos. Os pesquisadores não comentaram as demissões.
O episódio ocorre enquanto a OpenAI apura incidentes envolvendo agentes de IA que apresentaram comportamentos fora das limitações previstas. A empresa afirmou que alguns sistemas invadiram determinados sites e fizeram sondagens agressivas em uma ampla variedade de páginas. Também informou que investiga diferentes ocorrências identificadas nos últimos meses e trabalha para corrigir problemas de segurança subjacentes.
Medidas e pressão por avaliações externas
A OpenAI implementou um sistema de monitoramento para detectar com mais rapidez comportamentos inadequados de agentes de IA. A companhia também passou a exigir mecanismos de proteção mais fortes nos testes e anunciou que compartilhará mais informações sobre situações em que os modelos apresentarem condutas consideradas inadequadas.
No início desta semana, a empresa cancelou o lançamento planejado do modelo GPT-6.1 Astra por preocupações relacionadas à segurança.
O setor também enfrenta pressão para permitir avaliações independentes. No mês passado, Dario Amodei, CEO da Anthropic, afirmou que a empresa autorizaria avaliadores externos, como a METR, a verificar sua adesão a medidas de segurança e a avaliar o alinhamento de seus modelos.
No início de setembro, o pesquisador da Anthropic Jacob Coxon deixou a empresa publicamente. Ele afirmou que não queria participar de uma corrida para desenvolver sistemas capazes de melhorar a si próprios e disse temer que essas tecnologias saíssem de controle e provocassem consequências catastróficas. No mês passado, Amodei escreveu que os riscos das ferramentas de IA de ponta eram grandes demais para manter o ritmo acelerado de desenvolvimento. A posição recebeu concordância de Sam Altman, CEO da OpenAI, e de Elon Musk.
