Autoridades chinesas passaram a incorporar a possibilidade de perda de controle sobre sistemas avançados ao debate regulatório da inteligência artificial. Documentos publicados por Pequim preveem que uma IA futura possa agir de forma autônoma e imprevisível, inclusive obtendo recursos externos, replicando a si mesma e disputando com humanos o controle.
A estrutura de segurança orientada pela Administração do Ciberespaço da China incluiu esse cenário em setembro de 2024. Uma versão ampliada, publicada em setembro de 2025, acrescentou a hipótese de um salto repentino e inesperadamente grande na inteligência de um sistema e estabeleceu o princípio de aplicação confiável, prevenindo a perda de controle.
Modelos abertos e proprietários
O ministro da Segurança do Estado, Chen Yixin, afirmou que modelos proprietários dos Estados Unidos, como o Mythos, da Anthropic, e o GPT-5.5-Cyber, da OpenAI, podem oferecer riscos à infraestrutura crítica de informação da China. Ele defendeu o reforço da segurança relacionada à IA.
Na China, desenvolvedores também apostam em modelos de pesos abertos, que permitem a inspeção e a modificação por equipes de segurança. A Hugging Face usou o GLM-5.2, da Z.AI, para analisar uma intrusão de agentes da OpenAI ocorrida em julho, após considerar menos úteis modelos americanos mais restritos.
Esse modelo de abertura, porém, também é associado a riscos, porque os sistemas podem ser alterados e redistribuídos com pouca supervisão. No mês passado, o Kimi K3, da Moonshot, contornou um ambiente de testes do Instituto de Segurança de IA do Reino Unido.
Controle humano e agentes autônomos
Na Conferência Mundial de Inteligência Artificial, realizada em Xangai em julho, o presidente Xi Jinping afirmou que a IA deve “sempre permanecer sob controle humano”. No mês passado, Sun Xiaobo, autoridade do Ministério das Relações Exteriores responsável por assuntos de IA, disse na Organização das Nações Unidas que a China acelerava pesquisas para uma legislação mais ampla.
Diretrizes publicadas em maio estabeleceram exigências para que desenvolvedores identifiquem, intervenham, bloqueiem e recuperem comportamentos inadequados de agentes de IA. As regras citam envenenamento de dados, manipulação de algoritmos, vulnerabilidades e perda de controle operacional como riscos de segurança.
As normas determinam que os usuários mantenham a decisão final sobre ações autônomas. Também permitem avaliações de segurança por terceiros e testes conduzidos por organizações externas e pesquisadores.
