Um estudo da Tech for Humans conclui que o modelo de inteligência artificial (IA) mais caro nem sempre é o mais eficiente para empresas. A pesquisa avaliou oito modelos de linguagem amplamente usados pelo mercado, simulando centenas de atendimentos reais em ambiente controlado.
A consultoria desenvolveu uma metodologia própria para comparar os modelos sob as mesmas condições, considerando critérios como qualidade das respostas, custo operacional, velocidade e capacidade de resolver fluxos de atendimento completos. O objetivo foi aproximar a escolha de modelos de IA da realidade das operações corporativas, indo além dos benchmarks públicos tradicionais.
Resultados por modelo
Entre os modelos avaliados, o GPT-5.4 mini se destacou nas maiores taxas de sucesso operacional, com taxa de aprovação acima de 90%, segundo o estudo. O GPT-5.4 nano, por sua vez, sobressaiu pelo custo-benefício e pela velocidade de resposta, embora exija monitoramento mais atento da precisão das respostas.
A pesquisa também identificou diferenças relevantes no acionamento de ferramentas integradas, na conclusão de fluxos e na consistência das interações ao longo de uma conversa. Cada modelo apresentou comportamentos distintos diante dos mesmos cenários de atendimento.
Leia mais: Google e Grok integram novo portal do governo de Trump
O diretor-executivo da Tech for Humans, Fernando Wolff, afirma que comparar modelos apenas por benchmarks públicos não responde à dúvida central das empresas. “O mercado costuma comparar modelos de IA olhando apenas para benchmarks públicos, mas isso não responde à principal dúvida das empresas: qual modelo funciona melhor na minha operação. Nosso trabalho buscou aproximar essa decisão da realidade corporativa, avaliando qualidade, custo e desempenho em tarefas reais”. Para Wolff, “a escolha do modelo depende menos de um ranking absoluto e mais do equilíbrio entre qualidade, custo e capacidade de resolução exigido por cada operação”.
Juízes de IA e governança
A velocidade de lançamento de novos modelos é apontada pela consultoria como um dos principais desafios enfrentados pelas empresas atualmente. “Não basta saber qual modelo é mais potente. A decisão precisa considerar o contexto de cada operação, desde o tipo de atendimento a requisitos de disponibilidade, governança e custo”, explica Wolff.
Como parte da metodologia, a Tech for Humans criou os chamados “Juízes de IA”: sistemas de avaliação capazes de analisar, em tempo real, o desempenho de agentes de IA em diferentes contextos de uso. Esses sistemas consideram aspectos como qualidade das respostas, eficiência, capacidade de resolução e confiabilidade, permitindo acompanhar o desempenho ao longo da operação e não apenas em testes isolados.
Leia o IT Forum no LinkedIn e fique por dentro de todas as notícias!
