Gemini Pro 2.5: Ein leistungsstarker Codierungsassistent, der eine große Bedrohung für Chatgpt darstellt

Wenn es darum geht, KI für Programmierhilfe zu bewerten, habe ich einen Satz von vier standardisierten Tests entwickelt. Diese Tests sind entscheidend, um zu beurteilen, wie gut eine KI Ihre Programmierbemühungen unterstützen kann. Schließlich wollen Sie keine KI, die noch mehr Fehler in Ihren Code einbaut, oder?

Vor einiger Zeit stellte ein Leser meinen Ansatz in Frage und meinte, dass KIs bei anderen Herausforderungen vielleicht besser abschneiden könnten. Das ist ein berechtigter Einwand, aber ich halte an diesen Tests fest, weil sie unkompliziert sind. Ich verwende PHP und JavaScript, die nicht die schwierigsten Sprachen sind, und führe einige Skriptabfragen durch die KIs durch. Diese Konsistenz ermöglicht einen direkten Leistungsvergleich.

Die Tests umfassen das Schreiben eines einfachen WordPress-Plugins, das Umschreiben einer Zeichenkettenfunktion, das Finden eines Fehlers, mit dem ich einst Probleme hatte, und die Verwendung von Programmierwerkzeugen, um Daten aus Chrome zu extrahieren. Es ist, als würde man jemandem das Autofahren beibringen – man lässt ihn nicht auf die Autobahn, wenn er nicht einmal aus der Einfahrt kommt.

Bis heute hat nur ChatGPTs GPT-4 (und höher) LLM alle diese Tests bestanden. Interessanterweise war auch Perplexity Pro erfolgreich, aber das liegt daran, dass es auf der GPT-4-Serie LLM basiert. Microsoft Copilot hingegen, obwohl es dasselbe LLM verwendet, hat alle Tests nicht bestanden.

Googles Gemini hat nicht viel besser abgeschnitten. Anfangs scheiterte Bard (der frühere Name für Gemini) bei den meisten Tests, und selbst Gemini Advanced, das 20 US-Dollar pro Monat kostet, scheiterte letztes Jahr bei drei von vier Tests.

Aber jetzt hat Google Gemini Pro 2.5 eingeführt, und es ist für alle kostenlos, allerdings mit Ratenbeschränkungen. Ich stieß bei meinen Tests nach nur zwei Eingaben an diese Grenzen, was etwas einschränkend ist. Es könnte sein, dass die Ratenbegrenzung auf der Komplexität der Aufgaben basiert, nicht auf der Anzahl der Eingaben. Meine ersten zwei Anfragen waren das Schreiben eines vollständigen WordPress-Plugins und das Beheben von Code, was meine Grenze möglicherweise schneller verbrauchte als einfachere Anfragen.

Trotz der Wartezeit waren die Ergebnisse überraschend und lohnenswert.

Test 1: Schreiben eines einfachen WordPress-Plugins

Dieses Mal hat Gemini Pro 2.5 hervorragend abgeschnitten. Die Herausforderung bestand darin, ein WordPress-Plugin zu erstellen, das eine Benutzeroberfläche bietet, um Eingabezeilen zufällig anzuordnen und Duplikate so zu verteilen, dass sie nicht nebeneinander liegen.

Zuvor hat Gemini Advanced kein Backend-Dashboard erstellt, sondern verlangte einen Shortcode im Textkörper einer öffentlichen Seite. Es erstellte eine grundlegende Benutzeroberfläche, aber das Klicken auf den Button führte zu nichts. Egal wie ich die Eingaben anpasste, es scheiterte weiterhin.

Aber Gemini Pro 2.5 lieferte eine solide Benutzeroberfläche, und der Code funktionierte wie vorgesehen. Was mich wirklich beeindruckte, war die Wahl des Icons für das Plugin. Die meisten KIs ignorieren dieses Detail, aber Gemini Pro 2.5 wählte ohne meine Aufforderung ein relevantes Icon aus dem WordPress Dashicon-Set. Der Code war gut dokumentiert, mit klar erklärten Hauptabschnitten.

Test 2: Umschreiben einer Zeichenkettenfunktion

Im zweiten Test bat ich Gemini Pro 2.5, einen String-Verarbeitungscode so zu modifizieren, dass er Dollar und Cent verarbeitet, nicht nur Ganzzahlen. ChatGPT hat das richtig gemacht, während Bard nach anfänglichen Fehlschlägen schließlich erfolgreich war.

Letztes Mal scheiterte Gemini Advanced auf subtile, aber gefährliche Weise. Es erlaubte keine nicht-dezimalen Eingaben und begrenzte Zahlen fälschlicherweise auf zwei Ziffern vor dem Dezimalpunkt, was das Konzept von Dollar und Cent missverstand. Diese Art von Fehler könnte zu einer Flut von Fehlerberichten führen, wenn sie nicht entdeckt wird.

Gemini Pro 2.5 hat es jedoch perfekt hinbekommen. Es überprüfte die Eingabetypen korrekt, entfernte Leerzeichen, korrigierte den regulären Ausdruck, um führende Nullen und nur Dezimaleingaben zu behandeln, und lehnte negative Eingaben ab. Der Code war gut kommentiert, mit einer vollständigen Reihe von Testbeispielen. Zwar erlaubte es keine Gruppierung von Kommas oder führende Währungssymbole, aber dies waren kontrollierte Fehler, keine Abstürze, daher betrachte ich es als bestanden.

Test 3: Einen Fehler finden

Einmal hatte ich Probleme mit einem Fehler in meinem Code, der hätte funktionieren sollen, aber nicht funktionierte. Das Problem war knifflig, und während ich mich auf die Anzahl der übergebenen Parameter konzentrierte, wies ChatGPT darauf hin, dass ich etwas in einem Hook ändern musste.

Sowohl Bard als auch Meta verfehlten das Ziel und folgten demselben erfolglosen Weg wie ich. Gemini Advanced schlug im Februar 2024 vor, „wahrscheinlich woanders im Plugin oder in WordPress“ zu suchen, was nicht hilfreich war.

Mit Gemini Pro 2.5 stieß ich nach den ersten zwei Tests an die Ratengrenze, also musste ich bis zum nächsten Tag warten. Als ich den Test endlich durchführte, fand Gemini Pro 2.5 nicht nur den Fehler, sondern zeigte mir auch genau, wo ich ihn beheben musste, komplett mit einem hilfreichen Diagramm.

Test 4: Schreiben eines Skripts

Der letzte Test beinhaltet das Verständnis des internen Objektmodells von Chrome, AppleScript und Keyboard Maestro, einem Werkzeug zum Erstellen von Makros. Es geht darum, Chrome-Tabs zu öffnen und den aktiven Tab basierend auf einem Parameter festzulegen.

Die meisten KIs bewältigen die Chrome- und AppleScript-Teile gut, haben aber oft Probleme mit Keyboard Maestro. Gemini Pro 2.5 hat es jedoch richtig gemacht. Es schrieb den notwendigen Code, um Variablen korrekt zu übergeben, fügte Fehlerprüfungen und Benutzerbenachrichtigungen hinzu und lieferte sogar Schritte zur Einrichtung von Keyboard Maestro.

Mit allen vier bestandenen Tests reiht sich Gemini Pro 2.5 in die Elitegruppe der KI-Werkzeuge ein, die wirklich bei Programmieraufgaben helfen können.

Es war nur eine Frage der Zeit, bis Googles KI mit den Angeboten von OpenAI gleichzieht. Googles 2017 erschienenes Paper „Attention is all you need“ löste den generativen KI-Boom aus, daher ist es keine Überraschung, dass sie diesen Punkt erreicht haben. Gemini Pro 2.5 ist langsamer als ChatGPT Plus und benötigt zwischen 15 Sekunden und einer Minute für eine Antwort, aber Genauigkeit ist wichtiger als Geschwindigkeit.

Google hat auch Google Code Assist kostenlos mit großzügigen Limits gemacht, aber es ist nur wertvoll, wenn der generierte Code von hoher Qualität ist. Mit Gemini Pro 2.5 ist diese Qualität nun offensichtlich. Obwohl es derzeit als „experimentell“ gekennzeichnet ist, erwarte ich, dass Google dies bald verfeinert und möglicherweise eine kostenpflichtige Version mit weniger Ratenbeschränkungen anbietet.

Es ist klar, dass Gemini Pro 2.5 bereit ist, ChatGPT im Bereich der Programmierhilfe herauszufordern. Ich werde diese Entwicklung genau im Auge behalten und bald weitere Updates teilen.