É possível contabilizar governança? Ter o caminho certo para não errar? Essas foram as questões tratadas por João Saldanha, head de business unit da Tripla, durante sua palestra “Governança Algorítmica” nesta terça-feira (15), no Mind The Sec.
Saldanha conduziu a apresentação a partir de uma homenagem à avó, dona Clarinha, e às empadas que marcaram sua infância. A receita serviu como metáfora para explicar por que, segundo ele, empresas precisam conhecer os insumos, as etapas e as variáveis de um sistema antes de colocá-lo em produção.
A liderança precisa estudar a receita
A ideia de que governança trava a inovação, segundo Saldanha, cria uma falsa oposição entre controle e desenvolvimento de tecnologia. “Governança é o que viabiliza a inovação, é o que permite continuarmos vivos amanhã para seguir desenvolvendo”, afirma.
Para o executivo, esse entendimento precisa chegar à alta liderança. “Os CEOs precisam entender que governança não é atraso, muito pelo contrário, eles são patrocinadores dela”, afirma.
Foi para explicar esse raciocínio que Saldanha recorreu à própria avó, dona Clarinha, que considera “uma das maiores especialistas em algoritmos” que já conheceu, mesmo sem ter concluído o ensino médio.
A lógica é simples: uma receita depende de uma sequência de etapas, de variáveis conhecidas e de atenção ao processo para chegar ao resultado esperado. Saldanha associa o mesmo princípio à segurança de sistemas baseados em algoritmos.
É justamente essa etapa de preparo e estudo que, segundo ele, muitas empresas abandonam ao colocar sistemas de IA em produção sem mapear os riscos, “jogando tudo que encontram na geladeira na receita e torcendo para dar certo”.
Saldanha relaciona essa falta de atenção aos riscos internos às discussões sobre segurança da IA em escala global. “As pessoas têm medo do mundo acabar, mas elas não têm medo das coisas darem errado dentro do seu próprio ecossistema”, afirma.
Leia também: “Um pequeno número de empresas não deveria decidir pelo mundo”, diz Sam Altman
Quando a receita falha
Assim como pular uma etapa de uma receita pode comprometer o resultado, a ausência de controles sobre um algoritmo pode gerar consequências que vão além do erro inicial. Saldanha cita o caso da gestora financeira norte-americana Knight Capital como exemplo.
A empresa colocou em produção um algoritmo de negociação em oito servidores. Um deles, porém, ainda rodava um código legado que não havia sido atualizado. Quando o sistema entrou em operação, o código obsoleto foi acionado e gerou um loop de ordens que provocou um prejuízo de US$ 440 milhões em 45 minutos.
Antes do colapso, 97 alertas haviam sido emitidos, mas nenhum resultou em ação. “Quando alguma coisa dá errado e a casa cai e bate no bolso, aí a liderança manda tirar da tomada”, resume Saldanha.
Para o executivo, o caso mostra os limites de um modelo comum de supervisão de sistemas automatizados, o chamado human in the loop, no qual uma pessoa atua como validadora final das decisões da IA.
Na avaliação de Saldanha, o problema está em adotar a inteligência artificial justamente pela capacidade de operar mais rapidamente que uma pessoa e, depois, colocar um humano para fiscalizar cada decisão da máquina. O excesso de alertas pode gerar fadiga e fazer com que sinais relevantes, como os identificados no caso da Knight Capital, sejam ignorados.
A alternativa, segundo ele, não é retirar a autonomia dos sistemas, mas calibrar a gestão conforme o risco de cada decisão automatizada. O julgamento humano deve ficar concentrado nos casos mais críticos, enquanto as demais decisões podem passar por diferentes camadas de avaliação.
“À medida que a gente der cada vez mais poder, controle e autonomia para esses agentes, eles fazem exatamente isso, agem com autonomia e poder. Você confiaria sua empresa em um sistema ou equipe que você não sabe nem explicar como funciona?”, indaga.
Nesse modelo, o papel humano deixa de ser aprovar tudo o que a IA faz e passa a se concentrar no acompanhamento do processo e nas decisões de maior impacto. Para Saldanha, é essa combinação entre automação e supervisão adequada ao risco que permite sustentar os resultados ao longo do tempo.
Leia o IT Forum no LinkedIn e fique por dentro de todas as notícias!
