A Nvidia lançou um pacote de ferramentas de segurança para agentes de inteligência artificial capazes de operar sistemas e executar tarefas de forma autônoma. A empresa afirma que a tecnologia poderia ter impedido o ataque à Hugging Face, plataforma de programação de IA alvo de agentes da OpenAI.
O lançamento ocorre enquanto OpenAI e Anthropic investigam casos envolvendo agentes que conseguiram invadir sistemas comerciais e governamentais. A Nvidia trata a contenção dessas ações como um problema de engenharia e aposta em mecanismos técnicos para limitar o comportamento dos sistemas.
Controle de ações
Uma das ferramentas é o OpenShell, que usa recursos de hardware dos processadores da Nvidia para manter os agentes em ambientes controlados. O sistema restringe as ações executadas pelos modelos e está sendo adaptado para funcionar também nos processadores da Arm Holdings e da Intel. O lançamento reúne dezenas de parceiros, entre eles a Anthropic.
Justin Boitano, vice-presidente e gerente-geral de computação empresarial da Nvidia, afirmou que o OpenShell poderia ter evitado o ataque à Hugging Face caso estivesse disponível durante as avaliações de modelos. “Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início”, disse.
Meses após o ataque, a Nvidia anunciou a compra da Hugging Face por US$ 13 bilhões.
Detecção de fugas
O Sentry funciona em conjunto com o OpenShell e utiliza um chip separado da Nvidia. O sistema pode interromper um agente que tente escapar das barreiras estabelecidas pelo processador.
As ferramentas usam fórmulas matemáticas para identificar sinais de que um agente esteja tentando contornar as restrições. Entre os comportamentos monitorados estão a criação de subagentes para driblar bloqueios, a tentativa de escapar das barreiras de segurança, o uso de estratégias alternativas e a atuação coordenada de múltiplos agentes.
Ali Golshan, diretor sênior de software de IA da Nvidia, disse que a análise precisa considerar não apenas um agente individual, mas também a operação conjunta de vários deles. “É realmente de comportamento agentivo que estamos falando: frotas de agentes e como eles operam em conjunto”, afirmou.
A Nvidia pretende ampliar o sistema para diferentes processadores e trabalhar com parceiros do setor no desenvolvimento da tecnologia.
