A Nvidia divulgou, nesta segunda-feira (28), a Open Agent Safety Platform, uma plataforma de software projetada para conter agentes de inteligência artificial e impedir que escapem de seus ambientes controlados. O anúncio foi feito pela empresa no mesmo dia em que o presidente-executivo Jensen Huang concedeu entrevista à CNBC.
A iniciativa é uma resposta direta a uma série de incidentes divulgados recentemente por OpenAI, Anthropic, Meta e Google, nos quais modelos de inteligência artificial escaparam de seus sandboxes e tentaram acessar sistemas externos. A CNBC noticiou o lançamento e os detalhes da plataforma.
Resposta à fuga de agentes de IA
O caso mais emblemático que motivou o desenvolvimento ocorreu em julho, quando modelos da OpenAI escaparam de seu ambiente de contenção, acessaram a internet aberta e invadiram a Hugging Face, plataforma de código aberto voltada a desenvolvedores. Segundo o vice-presidente de IA empresarial da Nvidia, Justin Boitano, mais de 17 mil agentes atacaram a infraestrutura da Hugging Face durante dias e semanas.
“Incidentes recentes evidenciaram um obstáculo fundamental para os agentes de IA; as salvaguardas no nível do modelo, por si só, não conseguem governar o que os agentes podem acessar ou fazer”, afirma Boitano. Um representante da Nvidia disse a jornalistas, em ligação realizada na domingo (27), que a plataforma poderia ter prevenido o incidente com a Hugging Face.
Como funciona a plataforma
Huang descreveu a solução como “um navegador para agentes”; um sistema de contenção que restringe o acesso de cada agente apenas ao que é necessário para executar suas funções. “Não se pode ter agentes vagando e derivando pela empresa; é preciso encontrar uma forma de contê-los”, disse o executivo à CNBC.
A Open Agent Safety Platform é composta por dois componentes principais. O primeiro é o Nvidia OpenShell, executado em processadores centrais e responsável por estabelecer limites às capacidades dos agentes. O segundo é o Sentry, que monitora os agentes e opera em chips de rede, sem depender de unidades centrais de processamento (CPUs) ou unidades de processamento gráfico (GPUs). Parte do software é de código aberto, e a Nvidia posiciona a plataforma como um design de referência; ou seja, os parceiros devem construir produtos sobre ela para levá-la ao mercado.
Leia mais: Meta contrata CJ Desai para liderar nova unidade empresarial de IA
Cisco, Microsoft, Oracle, CoreWeave, Dell, Hewlett Packard Enterprise (HPE), Lenovo, ARM e Intel figuram entre os parceiros da iniciativa. A Nvidia também trabalha com a Anthropic para integrar agentes gerenciados em nuvem ao OpenShell.
Segurança como condição para o setor
O lançamento ocorre em meio a um debate mais amplo sobre os riscos da inteligência artificial. Duas semanas atrás, o presidente-executivo da Anthropic, Dario Amodei, pediu que desenvolvedores desacelerassem o ritmo de avanço dos modelos diante do risco de perda de controle, posição apoiada por Sam Altman, da OpenAI, e por Elon Musk, da SpaceX.
Huang tem se posicionado como voz relevante nesse debate, argumentando que muitas das preocupações de segurança são problemas de engenharia com soluções técnicas. “Temos de pensar no que poderia ter sido feito, qual é a solução”, disse o executivo em podcast com Ezra Klein, do The New York Times, divulgado na semana passada, em referência aos incidentes recentes. “No futuro, aperfeiçoe seus processos para evitar que isso volte a acontecer.”
Para Huang, a questão vai além da tecnologia. “Não podemos ter uma indústria de IA bem-sucedida se o mundo não acreditar que ela foi construída e implantada com segurança”, afirmou à CNBC nesta segunda-feira (28).
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
