O Gemma 3 do Google atinge 98% da precisão do Deepseek com apenas uma GPU

A economia da inteligência artificial tem se tornado um foco principal recentemente, especialmente com a startup DeepSeek AI demonstrando impressionantes economias de escala no uso de chips GPU. Mas o Google não está disposto a ficar para trás. Na quarta-feira, o gigante da tecnologia revelou seu mais recente modelo de linguagem de grande escala de código aberto, Gemma 3, que quase iguala a precisão do modelo R1 da DeepSeek, mas usa significativamente menos poder computacional.

O Google mediu esse desempenho usando pontuações "Elo", um sistema comumente usado em xadrez e esportes para classificar competidores. O Gemma 3 obteve uma pontuação de 1338, um pouco abaixo dos 1363 do R1, o que significa que o R1 tecnicamente supera o Gemma 3. No entanto, o Google estima que seriam necessários 32 chips GPU H100 da Nvidia para alcançar a pontuação do R1, enquanto o Gemma 3 obtém seus resultados com apenas um H100 GPU. O Google destaca esse equilíbrio entre computação e pontuação Elo como o "ponto ideal".

Em um post de blog, o Google descreve o Gemma 3 como "o modelo mais capaz que você pode executar em uma única GPU ou TPU", referindo-se ao seu próprio chip de IA personalizado, a "unidade de processamento de tensor". A empresa afirma que o Gemma 3 "oferece desempenho de ponta para seu tamanho", superando modelos como Llama-405B, DeepSeek-V3 e o3-mini em avaliações de preferência humana no ranking do LMArena. Esse desempenho facilita a criação de experiências de usuário envolventes em um único host GPU ou TPU.

Google

O modelo do Google também supera o Llama 3 da Meta em pontuação Elo, que o Google estima que exigiria 16 GPUs. Vale notar que esses números para modelos concorrentes são estimativas do Google; a DeepSeek AI divulgou apenas que usou 1.814 GPUs H800 da Nvidia, menos potentes, para o R1.

Informações mais detalhadas podem ser encontradas em um post de blog para desenvolvedores no HuggingFace, onde o repositório do Gemma 3 está disponível. Projetado para uso em dispositivos em vez de data centers, o Gemma 3 tem um número significativamente menor de parâmetros em comparação com o R1 e outros modelos de código aberto. Com contagens de parâmetros variando de 1 bilhão a 27 bilhões, o Gemma 3 é bastante modesto pelos padrões atuais, enquanto o R1 possui impressionantes 671 bilhões de parâmetros, embora possa usar seletivamente apenas 37 bilhões.

A chave para a eficiência do Gemma 3 é uma técnica de IA amplamente usada chamada destilação, onde pesos de modelo treinados de um modelo maior são transferidos para um menor, aprimorando suas capacidades. Além disso, o modelo destilado passa por três medidas de controle de qualidade: Aprendizado por Reforço a partir de Feedback Humano (RLHF), Aprendizado por Reforço a partir de Feedback de Máquina (RLMF) e Aprendizado por Reforço a partir de Feedback de Execução (RLEF). Essas medidas ajudam a refinar as saídas do modelo, tornando-as mais úteis e melhorando suas habilidades em matemática e codificação.

O blog para desenvolvedores do Google detalha essas abordagens, e outro post discute técnicas de otimização para o modelo de 1 bilhão de parâmetros, voltado para dispositivos móveis. Essas incluem quantização, atualização de layouts de cache de chave-valor, melhoria nos tempos de carregamento de variáveis e compartilhamento de pesos de GPU.

O Google compara o Gemma 3 não apenas em pontuações Elo, mas também com seu antecessor, Gemma 2, e seus modelos Gemini de código fechado em vários benchmarks como LiveCodeBench. Embora o Gemma 3 geralmente fique atrás do Gemini 1.5 e Gemini 2.0 em precisão, o Google observa que ele "mostra desempenho competitivo em comparação com modelos Gemini fechados", apesar de ter menos parâmetros.

Google

Uma atualização significativa no Gemma 3 em relação ao Gemma 2 é sua janela de contexto mais longa, expandindo de 8.000 para 128.000 tokens. Isso permite que o modelo processe textos maiores, como artigos completos ou livros. O Gemma 3 também é multimodal, capaz de lidar com entradas de texto e imagem, ao contrário de seu antecessor. Além disso, ele suporta mais de 140 idiomas, uma vasta melhoria em relação às capacidades apenas em inglês do Gemma 2.

Além desses recursos principais, há vários outros aspectos interessantes no Gemma 3. Um problema com modelos de linguagem de grande escala é o potencial de memorizar partes de seus dados de treinamento, o que poderia levar a violações de privacidade. Os pesquisadores do Google testaram o Gemma 3 para isso e descobriram que ele memoriza textos longos em uma taxa menor do que seus antecessores, sugerindo uma proteção de privacidade aprimorada.

Para aqueles interessados nos detalhes, o artigo técnico do Gemma 3 fornece uma análise completa das capacidades e desenvolvimento do modelo.