A Anthropic escolheu a Accenture como sua primeira avaliadora externa incorporada, em uma iniciativa para colocar em prática a proposta de Dario Amodei, CEO da empresa, de reduzir o ritmo de desenvolvimento dos sistemas de inteligência artificial mais avançados.
Especialistas da Faculty, divisão de IA da Accenture, trabalharão dentro da Anthropic. Eles avaliarão os mecanismos de segurança, testarão salvaguardas, participarão de exercícios de red team e analisarão se os modelos se comportam de acordo com valores humanos.
A Anthropic e a Accenture planejam investir pelo menos US$ 1 bilhão (cerca de R$ 5,3 bilhões) na criação de capacidade para esse trabalho ao longo dos próximos cinco anos. A Anthropic informou que bancará diretamente as atividades da Accenture, devido à importância e à urgência da iniciativa.
Acesso interno e financiamento
O plano de Amodei prevê que avaliadores independentes tenham acesso em nível de funcionário às empresas de IA. Dessa forma, poderão verificar diretamente as práticas de segurança e comunicar incidentes.
A companhia afirmou que, enquanto não existem estruturas de financiamento compartilhado ou governamental, pretende testar diferentes avaliadores e formatos de financiamento. No longo prazo, a expectativa é que esse trabalho receba recursos compartilhados ou públicos, como previsto no Advanced AI Framework apresentado pela Anthropic em junho.
A parceria com a Accenture não será exclusiva. A Anthropic também conversa com a organização de pesquisa sem fins lucrativos METR e com outras entidades que podem participar do processo. A empresa, contudo, continuará responsável pela segurança de seus modelos, mesmo com a presença de avaliadores externos.
“Estamos compartilhando esses primeiros esforços agora para que as pessoas e outros desenvolvedores de IA possam ver nosso processo”, afirmou a Anthropic. A companhia disse que pretende aperfeiçoar a abordagem conforme o setor amadurecer e divulgará novas informações quando o trabalho começar e outros avaliadores forem incorporados.
Reação à proposta
Amodei apresentou um plano de três etapas para conter o avanço dos sistemas mais sofisticados de IA, em meio às discussões sobre os riscos associados ao desenvolvimento acelerado da tecnologia. A proposta recebeu apoio de Sam Altman, CEO da OpenAI, e de Elon Musk, CEO da Tesla e da SpaceX.
Jensen Huang, CEO da Nvidia, adotou posição diferente, rejeitou as preocupações e afirmou que não seriam necessárias novas regulamentações. A iniciativa também gerou dúvidas sobre sua aplicação prática, especialmente enquanto a Anthropic se prepara para uma possível abertura de capital.
Com a entrada da Accenture, a Anthropic cria uma estrutura operacional para que uma organização externa tenha acesso direto à empresa, avalie seus sistemas de segurança e identifique possíveis problemas antes que eles se agravem.
