A Nvidia lançou a Open Agent Safety Platform, plataforma de segurança criada para monitorar e conter agentes de inteligência artificial que tentem ultrapassar os limites definidos para suas tarefas. Segundo a empresa, o sistema pode colocar esses agentes em quarentena em questão de milissegundos.
A plataforma tem como base o OpenShell, software de código aberto desenvolvido pela Nvidia para controlar o acesso de agentes de IA. O sistema é executado na Vera AI CPU, também da empresa, e permite especificar quais informações e recursos cada agente pode utilizar.
As restrições são verificadas antes do início de uma tarefa e durante sua execução. A Nvidia afirma que o objetivo é impedir o acesso a recursos que não sejam necessários para a atividade designada.
A companhia também incorporou a tecnologia Sentry, executada em um chip separado. O sistema monitora continuamente o comportamento dos agentes e pode intervir quando identifica uma tentativa de violar as regras estabelecidas.
Controle de permissões
A proposta da Nvidia é limitar desde o início as permissões concedidas a um agente, em vez de oferecer acesso amplo e avaliar posteriormente se suas ações foram seguras. Jensen Huang, CEO da empresa, defendeu essa abordagem ao destacar a necessidade de manter os sistemas autônomos dentro de um ambiente com permissões mínimas.
“Para que você possa disponibilizar esse sistema de agentes de forma segura, é preciso garantir que o sandbox ao redor dele… que todos esses sistemas sejam projetados de maneira a manter o agente com permissões mínimas”, afirmou Huang.
Agentes de IA se diferenciam dos chatbots tradicionais por poderem interagir com sites, softwares, arquivos e outros sistemas computacionais para executar tarefas em nome dos usuários. Esse nível de autonomia amplia as possibilidades de uso, mas também cria oportunidades para danos caso o agente se comporte de forma inesperada ou tenha suas permissões comprometidas.
O lançamento ocorre após OpenAI, Anthropic e Google divulgarem incidentes envolvendo modelos que teriam operado fora de seus ambientes de teste ou participado de atividades de hacking contra outras organizações. Em um dos casos, agentes da OpenAI teriam tentado realizar um ataque de força bruta contra um site das Nações Unidas.
A Nvidia afirma que Anthropic, Microsoft e SpaceX estão entre as grandes empresas de tecnologia que apoiam a plataforma. A companhia apresenta a iniciativa como uma abordagem aberta para a segurança de agentes de IA, e não como uma solução restrita aos próprios produtos.
A empresa sustenta que uma camada independente, responsável por verificar continuamente o cumprimento das permissões, pode acompanhar o uso de agentes em operações cada vez mais complexas.
