Velocidade sem consciência: a IA não precisa errar para dar errado

por Sergio Favarin

Há um equívoco fundamental na forma como a maioria das pessoas debate os riscos da inteligência artificial (IA). O temor dominante ainda orbita em torno do erro: a IA que diagnostica mal, que contrata pelo critério errado, que confunde rostos, que alucina fatos inexistentes. São preocupações legítimas, mas funcionam como ruído que nos distrai de uma ameaça mais sutil e, paradoxalmente, mais perigosa. O verdadeiro risco não está na IA que erra, mas sim na IA que decide rápido demais, mesmo quando acerta. A velocidade, em sistemas complexos e interdependentes como os que operam no coração do mercado financeiro, pode ser tão destrutiva quanto a imprecisão.

Trabalho há anos com tecnologia aplicada ao setor bancário e financeiro, e raramente vejo essa distinção ser feita com a clareza que merece. Vivemos um momento em que, segundo um estudo, a IA Generativa tem o potencial de gerar entre US$ 200 bilhões e US$ 340 bilhões em valor anual apenas para o setor bancário global, o equivalente a 9 a 15% dos lucros operacionais do setor. Esse número seduz executivos, conselhos e acionistas. O problema é que a corrida para capturar esse valor tem atropelado uma pergunta essencial: a que velocidade estamos dispostos a deixar que máquinas tomem decisões que afetam a vida de milhões de pessoas, e o que acontece quando todas elas decidem a mesma coisa ao mesmo tempo?

O mercado financeiro já teve um ensaio geral do que pode acontecer. Em 6 de maio de 2010, cerca de US$ 1 trilhão em valor de mercado foi varrido da bolsa americana em questão de minutos. O episódio ficou conhecido como Flash Crash, ou Crash das 2h45, e não foi causado por uma falha catastrófica isolada, mas por uma combinação de automação, baixa liquidez e reações em cadeia entre algoritmos. Um grupo de algoritmos simplesmente “interpretou mal” o mercado, e a onda de vendas equivocada desencadeada por esses modelos levou outros programas a reagirem na mesma direção. O US$ 1 trilhão em valor de mercado perdido naquela meia hora foi em grande parte revertido após intervenção humana e a normalização das negociações .O ponto que costuma passar despercebido nessa história não é o erro em si, mas o fato de que o dano ocorreu em minutos e só foi contido porque ainda havia humanos na sala dispostos a apertar o botão de parada. A pergunta que precisa nos manter acordados é: em quantos processos críticos, hoje, esse botão ainda existe?

O fenômeno descrito acima tem nome técnico: homogeneidade de modelos. Organizações financeiras frequentemente utilizam modelos ou estruturas de IA similares para avaliação de risco e execução de operações, em razão de normas do setor e conformidade regulatória. Quando esses sistemas detectam os mesmos sinais ao mesmo tempo, eles podem agir em uníssono, e essa convergência pode amplificar a volatilidade e drenar a liquidez em questão de segundos. Há estudos que sugerem que sistemas de IA, ao interagir entre si, podem inadvertidamente desenvolver comportamentos que se assemelham à coordenação implícita de preços, mesmo sem qualquer programação humana explícita, um tipo de comportamento emergente que levanta sérias questões éticas e regulatórias. Estamos, portanto, diante de um cenário inédito: sistemas que aprendem a otimizar coletivamente, sem que nenhum humano tenha deliberado por esse resultado.

Leia mais: Pessoas ainda importam? SAS abre o jogo sobre IA e aponta que diferencial volta a ser humano

O mercado financeiro brasileiro não está imune a essa dinâmica – está, na verdade, correndo para dentro dela. A adoção de IA em processos de concessão de crédito, análise de risco, atendimento ao cliente e detecção de fraudes avança em ritmo acelerado, muitas vezes com mais velocidade do que a maturidade dos processos de governança que deveriam acompanhá-la. Uma pesquisa elevou a IA a uma área de atenção prioritária, identificando explicitamente a crescente dependência da tecnologia como uma oportunidade extraordinária e, ao mesmo tempo, um risco crescente que exige supervisão aprimorada. Outro levantamento mostra que 55% dos casos de uso de IA no setor financeiro já envolvem alguma forma de tomada de decisão autônoma, embora apenas 2% sejam descritos como totalmente autônomos. Esses 2% são hoje. O que serão daqui a dois anos, na velocidade em que o setor está avançando?

Aqui reside o insight que ninguém quer discutir abertamente: o risco da IA não é binário. Não é uma questão de “vai ou não vai errar”. O risco é estrutural e temporal. Erros de IA são difíceis de detectar, as saídas herdam os vieses dos dados de treinamento, e há uma tendência crescente de excesso de confiança e dependência crescente das próprias ferramentas. Quando um gerente de banco humano toma uma decisão de crédito errada, o dano é local e lento o suficiente para ser corrigido. Quando um sistema de IA toma a mesma decisão errada para cem mil clientes simultaneamente – e outros sistemas, aprendendo com esse comportamento, replicam o padrão –, o erro se torna sistêmico antes que qualquer analista de risco perceba o que está acontecendo. Apenas 18% das organizações possuem um conselho com autoridade para tomar decisões relacionadas à governança responsável de IA, e apenas um terço exige controles de mitigação de risco de IA como competência para sua equipe técnica, destacam especialistas. Governamos lentamente o que se move rápido. A solução não é frear a IA. Isto seria ingênuo e economicamente suicida propor isso.

A solução é repensar onde colocamos o freio humano e garantir que ele continue existindo. O conceito que defendo com clientes do setor financeiro é o de “deliberação assimétrica”: quanto mais rápida e autônoma for a decisão de uma IA, mais robusto e obrigatório deve ser o ciclo de revisão humana que a antecede e a monitora em tempo real. Não se trata de burocracia, trata-se de engenharia de risco aplicada à era algorítmica. A supervisão eficaz exige que os tomadores de decisão humanos possuam a capacidade de interpretar e avaliar os resultados gerados pela IA, de aceitar, rejeitar ou modificar recomendações com base em considerações éticas, legais e práticas, garantindo que a responsabilidade final permaneça com os operadores humanos. É esse princípio, mais do que qualquer regulação, que separa as instituições que usam IA com inteligência das que simplesmente a usam com velocidade.

Estamos todos fascinados com o que a IA produz. Poucos estão se perguntando com que critério ela decide, em que janela de tempo e com que consequências para quem não está na sala. O setor financeiro, mais do que qualquer outro, precisa ter essa conversa não nos próximos anos, mas agora, enquanto os modelos ainda são jovens o suficiente para serem moldados por escolhas humanas conscientes. Porque quando eles amadurecerem, serão as escolhas que não fizemos a tempo que vão nos surpreender.