Os pesquisadores desenvolvem rival de código aberto ao modelo de 'raciocínio' de US $ 50 do OpenAI por menos de US $ 50

Na última sexta-feira, um artigo de pesquisa inovador de especialistas em IA da Stanford e da Universidade de Washington chegou ao cenário, revelando que eles conseguiram desenvolver um modelo de "raciocínio" de IA, chamado s1, por menos de $50 em créditos de computação em nuvem. Essa revelação está abalando o mundo da IA, pois o s1 se mantém firme contra modelos de alto nível como o o1 da OpenAI e o R1 da DeepSeek quando se trata de enfrentar desafios de matemática e codificação.

O modelo s1, juntamente com todos os detalhes suculentos de seus dados de treinamento e código, está agora disponível no GitHub. A equipe começou com um modelo base comum e depois o colocou à prova com uma técnica chamada destilação. Esse processo envolve extrair o "suco" do raciocínio de outro modelo de IA ao treinar com suas respostas. Nesse caso, o s1 obteve sua inteligência do modelo Experimental de Pensamento Flash Gemini 2.0 do Google. É uma tática semelhante à que pesquisadores de Berkeley usaram para criar seu próprio modelo de raciocínio de IA por cerca de $450 no último mês.

Para alguns, a ideia de que uma pequena equipe de pesquisadores ainda pode causar impacto no campo da IA sem um orçamento massivo é empolgante. Mas o surgimento do s1 também levanta algumas questões sérias sobre o futuro do desenvolvimento de modelos de IA. Se um modelo que rivaliza com aqueles construídos com milhões pode ser replicado com um orçamento apertado, o que impede todos de fazerem o mesmo?

Não é surpresa que os grandes jogadores no campo da IA não estejam entusiasmados. A OpenAI, por exemplo, apontou o dedo para a DeepSeek, acusando-os de usar seus dados de API para alimentar a destilação de modelos. Enquanto isso, a equipe do s1 estava focada em encontrar a maneira mais direta de alcançar um desempenho sólido de raciocínio e algo chamado "escalonamento em tempo de teste", onde um modelo de IA ganha mais tempo para pensar antes de responder. Essas são as mesmas inovações que o modelo o1 da OpenAI trouxe à tona, que outros como a DeepSeek tentaram imitar com seus próprios métodos.

O artigo do s1 sugere que você pode destilar modelos de raciocínio com um conjunto de dados relativamente pequeno usando uma técnica conhecida como ajuste fino supervisionado (SFT). Isso envolve treinar o modelo de IA para copiar comportamentos específicos de um conjunto de dados, e é mais barato do que o aprendizado por reforço em grande escala que a DeepSeek usou para seu modelo R1, que compete com o o1 da OpenAI.

O Google disponibiliza o Gemini 2.0 Flash Thinking Experimental gratuitamente por meio de sua plataforma Google AI Studio, embora com limites diários. Mas há um porém — os termos do Google não permitem a engenharia reversa de seus modelos para criar serviços concorrentes. Estamos esperando uma resposta do Google sobre isso.

O modelo s1 em si começou como um modesto modelo de IA pronto para uso do laboratório Qwen da Alibaba, que qualquer um pode baixar gratuitamente. Para treinar o s1, os pesquisadores montaram um conjunto de dados com apenas 1.000 perguntas cuidadosamente escolhidas, juntamente com respostas e o processo de "pensamento" por trás de cada uma, cortesia do Gemini 2.0 do Google. Todo o processo de treinamento levou menos de 30 minutos em 16 GPUs Nvidia H100. De acordo com Niklas Muennighoff, um pesquisador de Stanford envolvido no projeto, você poderia realizar isso hoje por cerca de $20 em custos de computação.

Os pesquisadores também fizeram um movimento inteligente para fazer o s1 verificar seu trabalho e estender seu tempo de "pensamento" — eles simplesmente disseram para ele "esperar". Adicionar essa palavra durante o processo de raciocínio do s1 ajudou a obter respostas ligeiramente mais precisas, de acordo com o artigo.

Olhando para 2025, gigantes da tecnologia como Meta, Google e Microsoft estão prontos para investir centenas de bilhões em infraestrutura de IA, grande parte dos quais será destinada ao treinamento da próxima onda de modelos de IA. Embora a destilação prove ser uma maneira eficaz de recriar capacidades de IA de forma barata, ela não levará à criação de modelos de IA novos e inovadores tão cedo.