Google sagt, Gemini 2.5 Pro übertrifft DeepSeek R1 und Grok 3 Beta in Coding Benchmarks

Google hat eine aktualisierte Vorschau seines Flaggschiffmodells Gemini 2.5 Pro vorgestellt, das ursprünglich im März eingeführt und im Mai verbessert wurde. Diese Iteration, die als die bisher "intelligenteste" KI des Unternehmens beschrieben wird, befindet sich derzeit in der Vorschau und soll in den nächsten Wochen allgemein verfügbar sein.

Unternehmen können jetzt mit der Entwicklung neuer Anwendungen experimentieren oder bestehende Implementierungen mit der aktualisierten I/O-Edition" von Gemini 2.5 Pro aktualisieren. Laut Googles offizieller Ankündigung liefert diese Version phantasievollere Antworten und demonstriert im Vergleich zu früheren Versionen bessere Fähigkeiten in der Programmierung und im logischen Denken.

Unser neuestes Gemini 2.5 Pro Update ist jetzt in der Vorschau.

Es ist besser in Programmierung, logischem Denken, Wissenschaft und Mathematik, zeigt eine verbesserte Leistung in wichtigen Benchmarks (AIDER Polyglot, GPQA, HLE, um nur einige zu nennen) und führt @lmarena_ai mit einem Elo-Sprung von 24 Punkten seit der vorherigen Version an.

Wir haben auch... pic.twitter.com/SVjdQ2k1tJ

- Sundar Pichai (@sundarpichai) June 5, 2025

Auf seiner Entwicklerkonferenz im Mai enthüllte Google Verbesserungen an Gemini 2.5 Pro, die die frühere stille Version übertrafen. Demis Hassabis, CEO von Google DeepMind, hob die I/O-Ausgabe als das bisher fortschrittlichste Kodierungsmodell des Unternehmens hervor.

Diese neueste Vorschau, die als Gemini 2.5 Pro Preview 06-05 Thinking bezeichnet wird, geht über die Fähigkeiten der I/O-Edition hinaus. Die bevorstehende öffentliche Version verspricht Leistung und Skalierbarkeit auf Unternehmensniveau.

Die ursprüngliche I/O-Edition (gemini-2.5-pro-preview-05-06) wurde im Mai über Google AI Studio und Vertex AI für Entwickler und Unternehmen zugänglich gemacht. Die verbesserte Gemini 2.5 Pro Preview 06-05 Thinking ist über dieselben Kanäle erhältlich.

Leistungsmetriken

Dieses verbesserte Gemini 2.5 Pro weist messbare Verbesserungen gegenüber seinem Vorgänger auf.

Google meldete eine Verbesserung um 24 Punkte in LMArena und einen Zuwachs um 35 Punkte in WebDevArena, wo es nun die Rangliste der Wettbewerber anführt. Vergleichstests zeigten eine überlegene Leistung gegenüber Modellen wie o3, o3-mini und o4-mini von OpenAI, Claude 4 Opus von Anthropic, Grok 3 Beta von xAI und DeepSeek R1.

"Wir haben auch auf das Feedback unserer früheren 2.5 Pro-Versionen reagiert und den Stil und die Struktur verbessert - es kann kreativer sein mit besser formatierten Antworten", so Google in seiner Ankündigung.

Was Unternehmen erwarten können

Googles schnelle Gemini 2.5 Pro-Verbesserungen mögen zwar komplex erscheinen, aber das Unternehmen stellt sie als direkte Reaktionen auf Nutzereingaben dar. Die neue Version hat eine Preisstruktur von 1,25 US-Dollar pro Million Input-Token (ohne Caching) und 10 US-Dollar pro Million Output-Token.

Als Gemini 2.5 Pro im März auf den Markt kam, wurde es von Branchenbeobachtern als ein nicht ausreichend genutztes fortschrittliches Modell angesehen. Google hat die Technologie seitdem in zahlreiche Anwendungen integriert, darunter die Funktion "Deep Think", die mehrere Hypothesen bewertet, bevor sie Antworten generiert.

Die Veröffentlichung von Gemini 2.5 Pro und die darauf folgenden Upgrades haben Googles Position in der wettbewerbsintensiven Landschaft der großen Sprachmodelle gestärkt und die Aufmerksamkeit der konkurrierenden Denkmodelle von DeepSeek und OpenAI zurückgewonnen.

Bereits wenige Stunden nach der Ankündigung begannen die Entwickler mit dem Testen des aktualisierten Gemini 2.5 Pro. Die ersten Eindrücke bestätigen Googles Behauptungen über die beschleunigte Leistung, auch wenn eine umfassende Bewertung der verbesserten Fähigkeiten noch aussteht.

Erste Stunde mit "Gemini 2.5 Pro Preview 06-05"

Positiv:

- Es ist schneller
- Es produziert mehr Output
- Bessere Makro-Wiedergabe (Bearbeitung von mehreren Dateien, bessere Übersicht)
- Die Ausgabestruktur ist besser (lesbar)
- Es ist prägnanter und WENIGER APOLOGETISCH!!

Vorher: "Sie sind absolut...

- Patrick Bade (@nishffx) 5. Juni 2025

Ihr habt gekocht, der App-Builder gefällt mir sehr gut.

Ich habe ein Spiel gemacht und es getestet, es hat imagen benutzt, um Assets on the fly zu erstellen ? und es ist fertig, gehostet, einfach zu teilen. Wirklich der beste No-Code-Builder ohne Erfahrung.

Wenn wir den Vibe-App-Marktplatz weiter ausbauen, könnte das...

- bone (@boneGPT) 5. Juni 2025

Gemini 2.5 Pro Preview ist ziemlich gut.. habe es gestern für tiefgreifende Recherchen verwendet und die Ergebnisse sind besser als einige der großen Namen...

- Janak (@janaks09) 5. Juni 2025