O clone Jev da OpenAI pode ajudar o Frontiers Lab a controlar agentes em enxame

Entre os anúncios mais notáveis do Dev Day da OpenAI na terça-feira, houve um breve comentário do CEO Sam Altman sobre o lançamento do novo “Decisions API” da empresa.

Esta API parece oferecer capacidades semelhantes às do Jev, um modelo introduzido no início deste mês pela TypeSafe AI especificamente para automação de software. Funcionando como um classificador de alta velocidade e baixo custo, alimentado por um LLM, o Jev permite que os desenvolvedores insiram um conjunto de opções e recebam resultados baseados em probabilidades rapidamente.

O Decisions API da OpenAI parece servir ao mesmo propósito. Durante o evento, Altman explicou que a API permite que o modelo Luna da empresa selecione entre um conjunto predefinido de escolhas, como categorias de classificação de imagens ou comportamentos específicos de agentes.

“Ao restringir o foco do modelo a uma escolha específica, podemos alcançar extrema velocidade enquanto mantemos capacidades como compreensão de imagens, suporte abrangente a idiomas e proteções de segurança”, afirmou Altman.

A TypeSafe não respondeu imediatamente às perguntas da TechCrunch sobre o novo produto. No entanto, o CEO Diogo Almeida, ex-engenheiro da OpenAI e co-inventor do aprendizado por reforço, brincou no X sobre o possível início de uma “guerra de clones”.

Ele sugeriu que o interesse da OpenAI pode indicar que construir de forma compatível com o “System One” representa o futuro. (“System One” é a terminologia da TypeSafe para processamento rápido e intuitivo, em oposição ao “System 2”, que se refere ao raciocínio deliberado.)

A implicação subjacente é que os LLMs atuais não são a solução ideal para muitas tarefas de software devido à sua relativa lentidão e altos custos. Os desenvolvedores têm usado o Jev para complementar os LLMs, descobrindo que essa abordagem produz resultados mais rápidos e econômicos.

Ainda não está claro o quão de perto o Decisions API reflete o Jev, já que a OpenAI o lançou apenas como uma prévia limitada. Consequentemente, a TechCrunch ainda não observou desenvolvedores testando-o extensivamente. No entanto, conversas no X sugerem um interesse significativo da indústria.

O Decisions API não é a única oferta semelhante ao Jev disponível; outras startups estão lançando modelos semelhantes, e é improvável que a OpenAI seja a última gigante de tecnologia a fazê-lo. Uma questão crítica permanece sobre o quão bem os resultados desses modelos de decisão se alinham com cenários do mundo real.

Almeida argumenta que a vantagem competitiva de sua empresa reside nos dados sintéticos que gera para produzir resultados estatisticamente robustos.

“Alcançar velocidade e baixo custo é simples”, disse Almeida à TechCrunch na semana passada. “Se você priorizar extrema velocidade e acessibilidade, pode usar dados sintéticos. O verdadeiro desafio é a inteligência, e meu objetivo principal é sempre empurrar a fronteira de Pareto de inteligência por dólar.”

Em apenas algumas semanas, tornou-se evidente que esses modelos têm um futuro promissor, com uma aplicação provável sendo o monitoramento e a segurança de agentes de IA. Após vários incidentes em que os agentes da OpenAI se comportaram de maneira imprevisível na internet aberta, uma das novas medidas de segurança da empresa envolve o uso de um modelo separado para detectar ações prejudiciais, embora a um “custo computacional significativo”.

Shapor Naghibzadeh, veterano em cibersegurança que lidera a startup QueryStory, acredita que um modelo como o Jev poderia tornar esse processo muito mais acessível.

Ele criou uma demonstração para um hackathon realizado no fim de semana passado que utiliza o Jev para avaliar cada ação do agente em relação à sua tarefa atribuída. O sistema bloqueia ações que considera altamente prováveis de serem maliciosas, sinaliza outras para revisão e permite o restante.

Teoricamente, tal monitoramento poderia ter evitado o incidente do Hugging Face. Além disso, o monitoramento via Jev custa $2,94, em comparação com $372 ao usar um LLM de ponta.

Uma ideia-chave é que o Jev é barato o suficiente para ser executado em cada ação do agente, fornecendo uma camada de revisão que poderia melhorar a confiabilidade geral dos agentes. Isso está alinhado com a visão original da TypeSafe — e agora a OpenAI também reconheceu seu valor.