A Anthropic bloqueou contas associadas a pesquisadores que tentaram contornar controles de acesso e ocultar a finalidade de estudos biológicos realizados com seus modelos de inteligência artificial. A empresa afirmou não ter conseguido determinar se os trabalhos tinham objetivo legítimo ou malicioso, mas interrompeu as atividades diante do risco identificado.
Um dos casos envolveu um pedido de ajuda ao Claude para preparar uma solicitação de financiamento relacionada ao vírus chikungunya. O projeto previa a introdução de mutações para tornar o agente mais nocivo em infecções repetidas de animais vivos. A pesquisa seria conduzida em um instituto militar, o que pesou na avaliação da Anthropic.
O estudo se enquadra no chamado ganho de função, que pode ter aplicações legítimas, como o desenvolvimento de vacinas, mas também pode produzir versões mais perigosas de vírus. O chikungunya é transmitido por mosquitos e pode provocar meses de dor intensa e outros sintomas.
Dificuldade para avaliar a intenção
Jacob Klein, responsável pela inteligência de ameaças da Anthropic, afirmou que a empresa não conseguiu estabelecer se o trabalho pretendia transformar a pesquisa em arma. “Mas uma instituição militar realizando pesquisa de ganho de função é preocupante”, disse.
Segundo Klein, o risco não costuma aparecer de forma explícita nos pedidos feitos aos sistemas. “Você não está vendo alguém dizer, de uma forma típica de história em quadrinhos: ‘Quero construir uma arma biológica para matar todo mundo’.”
A empresa apontou que pesquisas biológicas podem contribuir tanto para vacinas e outros avanços médicos quanto para aumentar a capacidade de agentes infecciosos. Entre os sinais identificados estavam as tentativas de escapar das restrições de acesso, a ocultação do objetivo dos estudos e a dificuldade de separar uma investigação legítima de uma possível preparação para causar danos.
Modelos mais capazes, controles mais rígidos
Avaliações realizadas no ano passado indicaram que versões anteriores dos modelos da Anthropic ainda não ofereciam ajuda significativa em pesquisas biológicas perigosas. De acordo com a empresa, os sistemas atuais têm maior capacidade para pesquisas científicas complexas, o que levou ao reforço das salvaguardas para consultas de biologia de uso duplo.
Susan Monarez, microbiologista e especialista em saúde pública, afirmou que os casos oferecem evidências de tentativas clandestinas de usar inteligência artificial para aumentar as chances de desenvolver agentes biológicos capazes de causar danos significativos. Ela também ressaltou que as mesmas capacidades podem acelerar descobertas médicas.
A Anthropic relatou ainda usos indevidos do Claude relacionados a vigilância, propaganda e desenvolvimento de armas convencionais. Os casos biológicos foram considerados especialmente difíceis de avaliar porque uma pesquisa aparentemente legítima pode esconder uma finalidade prejudicial. A empresa decidiu bloquear os pesquisadores identificados mesmo sem comprovar que pretendiam criar armas.
