Empresas têm colocado agentes de inteligência artificial em operação sem governança interna, limites claros de atuação, mecanismos de auditoria ou definição sobre quem responde pelas ações desses sistemas. A análise é de Carlos Pisani, CEO da ArcH IA e especialista em metodologia de construção de software com IA, que observa esse padrão se repetir mesmo enquanto os agentes assumem tarefas cada vez mais complexas dentro das organizações.

O problema não fica restrito às empresas em estágio inicial de adoção da tecnologia. Uma petição internacional chamada "Pacing the Frontier", divulgada em 28 de julho e assinada por mais de 1.100 funcionários de OpenAI, Anthropic, Google DeepMind e Meta, entre eles o CEO da Anthropic, Dario Amodei, além de outros cofundadores e cientistas-chefes, pede ao governo dos Estados Unidos apoio a um esforço internacional para desenvolver ferramentas técnicas e de governança capazes de desacelerar o avanço da IA, caso a tecnologia ultrapasse a capacidade humana de supervisão. O documento defende a criação de mecanismos preventivos, sem pedir a interrupção de projetos em curso.

"As empresas líderes em IA no mundo acreditam que podem estar perto de automatizar a pesquisa em IA. É difícil prever exatamente o quanto isto vai acelerar o progresso da IA, mas há um risco real de que a capacidade de desenvolvimento avance além da nossa habilidade de compreender ou controlar os sistemas resultantes", afirma a petição.

Para Pisani, a carta expõe em escala global o mesmo problema que ele observa em escala menor, dentro das empresas que adotam agentes de IA sem estrutura para acompanhá-los. "Se até quem cria a tecnologia está pedindo um freio, cabe perguntar por que tantas empresas continuam colocando agentes de IA em operação sem nenhuma camada de governança interna", afirma. "Essa discussão envolve a supervisão na fronteira tecnológica. Dentro das empresas, a fronteira é outra, mas o problema de fundo se repete. Trata-se de colocar um agente para operar sem definir limites, sem estabelecer mecanismos de auditoria e sem determinar quem será responsável por suas ações". A avaliação do CEO é que a discussão sobre governança tende a ganhar relevância à medida que os agentes passam a assumir tarefas mais complexas dentro das organizações. Para ele, quanto maior o grau de autonomia atribuído a esses sistemas, maior também precisa ser a capacidade de acompanhar suas operações, identificar desvios e estabelecer mecanismos de intervenção. "A empresa precisa saber o que o agente pode fazer, o que ele não pode fazer e quem responde quando alguma coisa sai do previsto. Sem isso, a autonomia deixa de ser um ganho operacional e passa a criar um novo ponto de vulnerabilidade", explica.

Carlos chama atenção também para o que considera o pano de fundo econômico do documento. Segundo ele, o setor de IA enfrenta escassez de infraestrutura, com máquinas e chips disputados por poucos fornecedores, ao mesmo tempo em que boa parte das empresas do setor ainda não fatura o suficiente para cobrir o volume investido. "A conta ainda não fecha. Uma hora essa bolha estoura", diz. "O que está por trás dessa petição não é só uma preocupação com segurança. É também uma forma de ganhar tempo e dividir a responsabilidade pelos riscos, num momento em que a infraestrutura não acompanha o ritmo de expansão nem os investimentos se pagam". Para o executivo, esse cenário reforça a urgência de as empresas brasileiras tratarem a governança de agentes de IA como parte do processo de adoção, não como etapa posterior. "Quem espera um marco regulatório para começar a pensar em governança interna vai chegar atrasado. A carta mostra que nem quem está na ponta mais avançada da tecnologia sabe exatamente o que vem a seguir", afirma.

Segundo o especialista, essa estrutura precisa ser considerada antes da expansão do uso de agentes, especialmente em áreas nas quais os sistemas podem acessar informações, executar processos ou tomar decisões com impacto sobre outras pessoas. A governança não pode entrar depois que o agente já está funcionando. Ela precisa fazer parte da arquitetura da adoção, porque corrigir uma operação que já ganhou escala pode ser muito mais complexo do que estabelecer os limites desde o início.

"Acompanhar a evolução da IA também significa criar condições para que a autonomia dos sistemas avance de forma compatível com a capacidade humana de supervisioná-los", finaliza Pisani.

Image by DC Studio on Magnific

Sobre Carlos Pisani 
Profissional de TI com mais de 33 anos de experiência, sendo mais de 20 dedicados à arquitetura de sistemas, soluções complexas e liderança de equipes. É CEO e fundador da ArcH, consultoria especializada em Arquitetura de Sistemas e Soluções de Software, e já liderou mais de 500 projetos em setores como bancos, fintechs, telecomunicações, seguros, aeronáutico e bolsa de valores. Também é criador do NeuroniunDB e de um canal no YouTube com mais de 250 mil inscritos, voltado à arquitetura de software. Como professor e mentor, já formou mais de 700 alunos em programas avançados de Arquitetura de Soluções.