LarBenchmarks de modelo de AI da Meta: enganosos?
Então, a Meta lançou seu novo modelo de IA, Maverick, no fim de semana, e ele já está causando impacto ao conquistar o segundo lugar no LM Arena. Sabe, aquele é o lugar onde humanos podem atuar como juiz e júri, comparando diferentes modelos de IA e escolhendo seus favoritos. Mas, espera aí, tem uma reviravolta! Acontece que a versão do Maverick que está se exibindo no LM Arena não é exatamente a mesma que você pode baixar e experimentar como desenvolvedor.
Alguns pesquisadores de IA com olhos de águia no X (sim, a plataforma anteriormente conhecida como Twitter) notaram que a Meta chamou a versão do LM Arena de uma "versão experimental de chat". E se você der uma espiada no site do Llama, há um gráfico que revela tudo, dizendo que os testes foram feitos com "Llama 4 Maverick otimizado para conversação". Já falamos sobre isso antes, mas o LM Arena não é exatamente o padrão ouro para medir o desempenho de IA. A maioria das empresas de IA não mexe em seus modelos só para obter uma pontuação melhor nesse teste — ou pelo menos, elas não admitem isso.
O problema é que, quando você ajusta um modelo para arrasar em um benchmark, mas depois lança uma versão "vanilla" diferente para o público, é difícil para os desenvolvedores descobrirem como o modelo realmente se sairá em cenários do mundo real. Além disso, é meio enganador, né? Benchmarks, por mais falhos que sejam, deveriam nos dar uma imagem clara do que um modelo pode ou não fazer em diferentes tarefas.
Pesquisadores no X foram rápidos em notar algumas grandes diferenças entre o Maverick que você pode baixar e o que está no LM Arena. A versão do Arena aparentemente adora emojis e gosta de dar respostas longas e prolongadas.
Okay Llama 4 is def a littled cooked lol, what is this yap city pic.twitter.com/y3GvhbVz65
— Nathan Lambert (@natolambert) 6 de abril de 2025
por algum motivo, o modelo Llama 4 no Arena usa muito mais emojis
no together.ai, parece melhor: pic.twitter.com/f74ODX4zTt
— Tech Dev Notes (@techdevnotes) 6 de abril de 2025
Entramos em contato com a Meta e com as pessoas do Chatbot Arena, que administram o LM Arena, para ver o que eles têm a dizer sobre tudo isso. Fique ligado!
Artigo relacionado
A Frontier AI Labs se recusa a divulgar estratégias de contenção para modelos rebeldes
Pesquisas recentes indicam que muito poucos laboratórios líderes em IA publicaram ou demonstraram planos de resposta para contenção. Um plano de contenção define os procedimentos a serem seguidos quan
O Mark Zuckerberg realmente acredita que a IA é para todos?
Carregando o player…A Meta apresentou o Glimmer esta semana, um modelo de IA de pesos abertos que qualquer pessoa pode baixar e executar em hardware pessoal — um contraste acentuado com o Muse Spark, o modelo mais poderoso da empresa, que permanece
O Facebook lança um aplicativo complementar de IA para criadores de conteúdo
O Facebook revelou nesta quarta-feira que está transformando seu Creator Studio em um aplicativo complementar dedicado à IA, permitindo que os criadores ampliem seu alcance na plataforma.Ao disponibil
Recomendações de tópicos especiais relacionados
Educação e Aprendizagem
Ferramentas de IA para os deveres de casa e a preparação para provas
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
Composição musical
Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
Negócios
As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
Edição de imagem
Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Incitar
As melhores bibliotecas de prompts de IA para fluxos de trabalho do ChatGPT
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
Educação e Aprendizagem
Plataformas de Construção de Questionários de IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
Comentários (37)
![RalphGarcia]()
メタのAIベンチマークって怪しくない？🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク
![ScottWalker]()
Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?
![KennethMartin]()
Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!
![WalterThomas]()
मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!
![JohnYoung]()
메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔
![JohnHernández]()
Meta's Maverick AI model snagging second place on LM Arena is pretty cool, but the benchmarks might be a bit off! 🤔 It's fun to see these models go head-to-head, but I'm not sure if the results are totally fair. Worth keeping an eye on! 👀
Então, a Meta lançou seu novo modelo de IA, Maverick, no fim de semana, e ele já está causando impacto ao conquistar o segundo lugar no LM Arena. Sabe, aquele é o lugar onde humanos podem atuar como juiz e júri, comparando diferentes modelos de IA e escolhendo seus favoritos. Mas, espera aí, tem uma reviravolta! Acontece que a versão do Maverick que está se exibindo no LM Arena não é exatamente a mesma que você pode baixar e experimentar como desenvolvedor.
Alguns pesquisadores de IA com olhos de águia no X (sim, a plataforma anteriormente conhecida como Twitter) notaram que a Meta chamou a versão do LM Arena de uma "versão experimental de chat". E se você der uma espiada no site do Llama, há um gráfico que revela tudo, dizendo que os testes foram feitos com "Llama 4 Maverick otimizado para conversação". Já falamos sobre isso antes, mas o LM Arena não é exatamente o padrão ouro para medir o desempenho de IA. A maioria das empresas de IA não mexe em seus modelos só para obter uma pontuação melhor nesse teste — ou pelo menos, elas não admitem isso.
O problema é que, quando você ajusta um modelo para arrasar em um benchmark, mas depois lança uma versão "vanilla" diferente para o público, é difícil para os desenvolvedores descobrirem como o modelo realmente se sairá em cenários do mundo real. Além disso, é meio enganador, né? Benchmarks, por mais falhos que sejam, deveriam nos dar uma imagem clara do que um modelo pode ou não fazer em diferentes tarefas.
Pesquisadores no X foram rápidos em notar algumas grandes diferenças entre o Maverick que você pode baixar e o que está no LM Arena. A versão do Arena aparentemente adora emojis e gosta de dar respostas longas e prolongadas.
Okay Llama 4 is def a littled cooked lol, what is this yap city pic.twitter.com/y3GvhbVz65
— Nathan Lambert (@natolambert) 6 de abril de 2025
por algum motivo, o modelo Llama 4 no Arena usa muito mais emojis
— Tech Dev Notes (@techdevnotes) 6 de abril de 2025
no together.ai, parece melhor: pic.twitter.com/f74ODX4zTt
Entramos em contato com a Meta e com as pessoas do Chatbot Arena, que administram o LM Arena, para ver o que eles têm a dizer sobre tudo isso. Fique ligado!
A Frontier AI Labs se recusa a divulgar estratégias de contenção para modelos rebeldes
Pesquisas recentes indicam que muito poucos laboratórios líderes em IA publicaram ou demonstraram planos de resposta para contenção. Um plano de contenção define os procedimentos a serem seguidos quan
O Mark Zuckerberg realmente acredita que a IA é para todos?
Carregando o player…A Meta apresentou o Glimmer esta semana, um modelo de IA de pesos abertos que qualquer pessoa pode baixar e executar em hardware pessoal — um contraste acentuado com o Muse Spark, o modelo mais poderoso da empresa, que permanece
O Facebook lança um aplicativo complementar de IA para criadores de conteúdo
O Facebook revelou nesta quarta-feira que está transformando seu Creator Studio em um aplicativo complementar dedicado à IA, permitindo que os criadores ampliem seu alcance na plataforma.Ao disponibil
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
2026 Últimas Melhores Plataformas de Construção de Questionários com IA para Professores, Tutores e Programas de Aprendizagem Baseados em Coortes! A XIX.AI compilou uma lista de ferramentas poderosas e transformadoras, testadas em cenários reais, para garantir classificações precisas. Essas plataformas imperdíveis ajudam a aumentar a eficiência na escrita, otimizar a criação de conteúdo e simplificar o design de questionários em todos os cenários de aprendizado. Explore agora para descobrir a ferramenta perfeita para desbloquear sua vantagem com IA no ensino!
13 ferramentas
xix.ai
メタのAIベンチマークって怪しくない？🤔 人間が好みで評価するランダムなランキングより、実用的なテストの方が信用できると思う。結局ベンチマークゲームに夢中になる企業より、実際に役立つAIを作ってる会社の方が価値あるよね。 #AIベンチマーク
Meta's Maverick hitting second on LM Arena? Impressive, but I'm skeptical about those benchmarks. Feels like a hype train—wonder if it’s more flash than substance. 🤔 Anyone tested it in real-world tasks yet?
Meta's Maverick AI model is impressive, snagging second place on LM Arena! But are the benchmarks really telling the whole story? It's cool to see AI models go head-to-head, but I'm not sure if it's all fair play. Makes you wonder, right? 🤔 Maybe we need a more transparent way to judge these models!
मेटा का नया AI मॉडल, मैवरिक, LM एरिना में दूसरे स्थान पर पहुंचा! यह प्रभावशाली है, लेकिन क्या बेंचमार्क वास्तव में पूरी कहानी बता रहे हैं? AI मॉडल्स को आपस में प्रतिस्पर्धा करते देखना मजेदार है, लेकिन मुझे नहीं पता कि यह निष्पक्ष है या नहीं। आपको सोचने पर मजबूर करता है, है ना? 🤔 शायद हमें इन मॉडल्स को जज करने का एक और पारदर्शी तरीका चाहिए!
메타의 새로운 AI 모델, 마브릭이 LM Arena에서 2위를 차지하다니 대단해요! 하지만 벤치마크가 정말 모든 것을 말해주고 있는지 궁금해요. AI 모델 간의 경쟁은 재미있지만, 공정한지 확신할 수 없네요. 더 투명한 평가 방법이 필요할 것 같아요 🤔
Meta's Maverick AI model snagging second place on LM Arena is pretty cool, but the benchmarks might be a bit off! 🤔 It's fun to see these models go head-to-head, but I'm not sure if the results are totally fair. Worth keeping an eye on! 👀
