As discussões sobre os riscos da inteligência artificial avançada precisam ser separadas de duas outras questões: o valor econômico que essas tecnologias podem gerar e o impacto das regras sobre a concorrência. A avaliação é de John Park, especialista em inteligência artificial e Founding Member of Technical Staff da AGI Inc.
Park afirma que os alertas de pesquisadores que deixaram empresas como Anthropic e OpenAI devem ser levados a sério. A Anthropic criou políticas específicas para lidar com riscos catastróficos associados a modelos cada vez mais avançados, o que, segundo ele, mostra que o debate sobre segurança não é apenas uma disputa de narrativas entre empresas de tecnologia.
Ao mesmo tempo, o especialista chama atenção para a mensagem transmitida quando companhias descrevem suas tecnologias como extraordinariamente poderosas, capazes de transformar a sociedade e associadas a riscos sem precedentes. Para investidores, essa combinação pode sugerir não apenas grande capacidade técnica e impacto potencial, mas também a possibilidade de captura de valor econômico extraordinário pela empresa que desenvolve a tecnologia.
Anthropic e OpenAI deram passos formais em direção a possíveis ofertas públicas de ações. A Anthropic pode começar a apresentar sua proposta a investidores já em outubro, enquanto investidores discutem uma possível avaliação de até US$ 2 trilhões. Park ressalta que não questiona se as empresas merecem suas avaliações, mas considera importante reconhecer a conexão entre a forma como elas descrevem seus sistemas e o valor que o mercado pode atribuir a elas.
Segurança e barreiras à entrada
Para Park, uma tecnologia pode ser revolucionária e apresentar riscos reais sem necessariamente produzir lucros proporcionais à sua relevância tecnológica. Por isso, ele propõe distinguir entre o poder de uma tecnologia, o perigo que ela pode representar e o valor econômico capturado pela empresa responsável por seu desenvolvimento.
O especialista apoia exigências de segurança para sistemas de alto risco, incluindo avaliações, transparência e mecanismos de controle quando determinados modelos puderem causar danos em escala significativa. A preocupação surge quando as regras exigem equipes numerosas, processos complexos, auditorias caras ou níveis de computação acessíveis apenas às maiores empresas.
A regulação, afirma Park, deveria ser proporcional ao risco, e não ao tamanho ou ao poder de mercado da companhia. A experiência da Califórnia é apresentada como exemplo. Em 2024, o estado aprovou o SB 1047, projeto que previa requisitos de segurança para desenvolvedores de alguns dos modelos de IA mais poderosos, incluindo medidas para prevenir danos catastróficos. O governador Gavin Newsom vetou a proposta e argumentou, entre outros pontos, que ela não considerava suficientemente como e onde os sistemas seriam utilizados.
Um ano depois, a Califórnia aprovou o SB 53, que criou outra estrutura de segurança para desenvolvedores de modelos de fronteira. A legislação estabeleceu requisitos de transparência e práticas de segurança voltados principalmente aos grandes desenvolvedores.
Anthropic apoiou uma versão modificada do SB 1047, enquanto a OpenAI defendeu uma abordagem federal. Para Park, isso não prova que as empresas tentem deliberadamente criar barreiras para concorrentes, mas evidencia a importância de observar a relação entre regulamentação e estrutura de mercado.
Supervisão independente
A preocupação também se aplica a países que ainda desenvolvem suas próprias capacidades de inteligência artificial. Se os padrões globais forem definidos principalmente pelas maiores empresas americanas, empresas brasileiras poderão enfrentar custos regulatórios e técnicos desenhados para organizações com recursos muito superiores. Nesse cenário, regras criadas para aumentar a segurança poderiam dificultar o surgimento de competidores e ampliar a dependência de empresas estrangeiras.
Park considera legítimo que a Anthropic tenha uma política de segurança. A Responsible Scaling Policy da empresa busca lidar com riscos associados a modelos mais avançados e servir de referência para padrões da indústria e futuras políticas públicas. Para ele, porém, iniciativas das próprias companhias não substituem a supervisão independente.
O especialista defende avaliações verificáveis, critérios transparentes e mecanismos de fiscalização capazes de diferenciar riscos reais de afirmações sobre riscos. Também alerta para a concentração de funções nas maiores empresas de IA, que podem desenvolver a tecnologia, definir padrões de segurança e se beneficiar economicamente deles.
A conclusão de Park é que os alertas de segurança podem ser legítimos ao mesmo tempo que as empresas têm incentivos econômicos para enfatizar a importância tecnológica e estratégica de seus sistemas. A questão, portanto, não é apenas se a IA é perigosa demais para ser desenvolvida, mas também se pode se tornar perigosa demais para que outros consigam competir. A segurança, afirma, deve proteger a sociedade, não a posição de mercado das empresas que prometem protegê-la.
