A crescente importância da chamada inteligência artificial explicável (XAI) impulsionará investimentos em observabilidade para grandes modelos de linguagem (LLMs) para 50% das implementações de IA generativa até 2028, contra 15% atualmente. O Gartner, responsável pela previsão acima, diz que XAI é o conjunto de recursos que descreve, destaca pontos fortes e fracos, prevê comportamento e identifica vieses potenciais de um modelo.
Esse tipo de IA ganhará importância ao longo dos próximos anos conforme o cerco da regulamentação da IA vai aos poucos se fechando nos principais mercados. A XAI promete esclarecer o funcionamento de um modelo para um público específico, abrindo a “caixa preta” e garantindo precisão, imparcialidade, responsabilidade, estabilidade e transparência nas decisões algorítmicas, diz a consultoria.
Já as soluções de observabilidade de LLM prometem monitorar, analisar e dar insights acionáveis sobre o comportamento e o desempenho dos modelos. E ir além de métricas-padrão de TI, como tempos de resposta, para examinar métricas específicas de LLM, como alucinações, vieses e utilização de tokens. Essas ferramentas podem ser usadas por equipes que desenvolvem e operacionalizam sistemas de IA e pelas cada vez mais comuns equipes de engenharia de confiabilidade (SREs).
Leia também: Identidade digital como infraestrutura crítica
“Conforme as organizações expandem a GenAI, a exigência de confiança cresce mais rápido do que a própria tecnologia”, diz em comunicado Pankaj Prasad, analista sênior do Gartner. “A XAI oferece visibilidade sobre por que um modelo respondeu de determinada maneira, enquanto a observabilidade de LLMs valida como essa resposta foi gerada e se ela é confiável. (…) Sem bases sólidas de XAI e observabilidade, as iniciativas de IA generativa ficarão restritas a tarefas de baixo risco, internas ou não críticas (…).”
Segundo o Gartner, o mercado global de modelos de IA generativa ultrapassará US$ 25 bilhões em 2026 e atingirá US$ 75 bilhões até 2029. Conforme o uso aumenta, também cresce a necessidade de mecanismos que verifiquem o conteúdo gerado por IA e protejam contra alucinações, imprecisões factuais e raciocínios enviesados.
Etapas da confiança
O Gartner diz que melhorar confiabilidade, transparência e valor para os negócios dos casos de uso da IA generativa exige que as organizações priorizem:
– Rastreabilidade de XAI para casos de uso de alto impacto: Exigir a rastreabilidade verificável de XAI para todos os casos de uso de IA generativa de alto impacto, para documentar etapas de raciocínio do modelo e dados de origem por trás de cada output;
– Observabilidade multidimensional de LLM: Priorizar plataformas que monitorem latência, desvio (drift), uso e custo de tokens, taxas de erro e métricas de qualidade dos outputs;
– Avaliação contínua de LLM em pipelines de integração contínua (CI) e entrega contínua (CD): Integrar métricas de avaliação, incluindo benchmarks de precisão factual e verificações de segurança, em pipelines de CI/CD para validação contínua antes da implementação;
– Capacitação de stakeholders sobre explicabilidade: Educar equipes jurídicas, de conformidade e outros stakeholders sobre os requisitos de explicabilidade para garantir o alinhamento em relação a riscos, expectativas de governança e desafios de implementação.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
