[OPINIÃO] O que muda quando a inteligência artificial começa a tomar decisões sozinha (e quem fica responsável quando ela erra)

Em 2024, a companhia aérea Air Canada foi condenada a indenizar um passageiro após seu chatbot de inteligência artificial informar uma política de reembolso que não existia. Durante o processo, a empresa chegou a argumentar que o sistema era uma entidade independente e, portanto, responsável pelas próprias respostas. A Justiça canadense rejeitou a tese, mas o episódio trouxe uma discussão que ganha cada vez mais relevância à medida que empresas adotam agentes de IA capazes de executar tarefas de forma autônoma. Com o avanço dessas tecnologias e das discussões regulatórias sobre inteligência artificial no Brasil e no exterior, uma pergunta se torna inevitável: quem responde quando a máquina toma uma decisão errada?

Essa é uma pergunta que Thiago R. de Souza, Senior Cloud/DevOps Engineer com mais de 9 anos de experiência em infraestrutura corporativa e arquiteto de soluções de IA em ambientes AWS, AWS Community Builder e detentor de múltiplas certificações AWS, incluindo Machine Learning Specialty, vem ouvindo cada vez mais nas conversas com times de engenharia que projetam esses sistemas.

Diferentemente dos modelos tradicionais de IA generativa, os chamados agentes autônomos não apenas produzem respostas, mas também podem executar ações, aprovar processos, movimentar informações e interagir com sistemas corporativos sem intervenção humana constante. Nesse cenário, os riscos deixam de ser apenas tecnológicos e passam a envolver aspectos jurídicos, financeiros, operacionais e reputacionais.

Para Souza, que já implementou soluções de IA generativa e arquiteturas com Amazon Bedrock em ambientes corporativos AWS, a discussão não deveria começar pela capacidade da IA, mas pelos mecanismos de controle criados ao seu redor. “Antes de perguntar o que o agente consegue fazer, as empresas deveriam perguntar o que ele não pode fazer. É fundamental saber se existem barreiras técnicas capazes de impedir determinadas ações, se essas regras podem ser alteradas imediatamente quando necessário e se há mecanismos de aprovação humana para decisões de alto impacto”, afirma.

Segundo o especialista, um dos maiores equívocos na adoção corporativa de agentes de IA é tratá-los como caixas-pretas. Para ele, toda decisão tomada por um sistema autônomo deve ser auditável. “Quando algo dá errado, a empresa precisa conseguir reconstruir exatamente o caminho percorrido pelo agente. Isso significa ter acesso não apenas ao resultado final, mas também aos critérios utilizados, às informações consultadas e aos registros completos das ações executadas”, explica.

Nesse contexto, a rastreabilidade torna-se um requisito tão importante quanto a própria capacidade de automação. Logs detalhados e imutáveis permitem auditorias internas, identificação de falhas e prestação de contas em situações que envolvam impactos financeiros, regulatórios ou reputacionais. “”Não basta armazenar o histórico, é preciso que as áreas responsáveis consigam consultar essas informações sem depender exclusivamente do fornecedor da tecnologia. Recursos como CloudTrail, logs imutáveis em S3 com object lock e trilhas de auditoria via IAM Identity Center são parte do que torna isso viável na prática”, destaca Souza. “Frameworks como o EU AI Act e o NIST AI Risk Management Framework já estabelecem requisitos formais de rastreabilidade e accountability para sistemas autônomos. Empresas brasileiras com operações internacionais vão precisar se adaptar a esses padrões mais cedo do que imaginam”, completa.

Outro ponto frequentemente negligenciado está na definição de responsabilidades. Embora muitos fornecedores ofereçam plataformas avançadas de IA, nem sempre ficam claros os limites de responsabilidade em caso de prejuízos causados por decisões automatizadas. “As empresas precisam verificar quem responde por eventuais danos, o que está formalmente previsto em contrato e quais garantias existem em relação ao uso da tecnologia em ambiente produtivo. Essa análise é tão importante quanto a avaliação técnica da solução”, alerta.

A atenção também deve se estender às futuras atualizações dos modelos, já que à medida que sistemas de IA evoluem continuamente, surge a necessidade de garantir que regras, restrições e parâmetros definidos pela empresa permaneçam válidos após cada atualização. “É importante entender como o fornecedor gerencia mudanças no comportamento do agente, quais mecanismos de validação existem e de que forma o cliente será informado caso ocorram alterações relevantes”, afirma Souza.

Para o especialista, o sucesso da adoção de agentes autônomos não dependerá apenas da inteligência dos modelos, mas da qualidade da governança construída ao redor deles. “Erros continuarão acontecendo, como acontece com qualquer tecnologia. A diferença está na capacidade de controlar, rastrear e corrigir esses desvios. Quando uma empresa não consegue explicar por que um agente tomou determinada decisão, o problema não está na IA, mas na falta de governança sobre ela. É exatamente esse o trabalho que tenho conduzido junto a equipes de engenharia: garantir que a infraestrutura por trás da IA seja tão auditável quanto a própria decisão que ela toma”, conclui Thiago R. de Souza.