Gemini Pro 2.5: мощный помощник по кодированию представляет серьезную угрозу для CHATGPT

Когда дело доходит до оценки ИИ для помощи в программировании, я разработал набор из четырёх стандартизированных тестов. Эти тесты имеют решающее значение для оценки того, насколько хорошо ИИ может поддерживать ваши усилия в программировании. В конце концов, последнее, что вам нужно, — это ИИ, который добавляет больше ошибок в ваш код, верно?

Некоторое время назад читатель усомнился в моём подходе, предположив, что ИИ могут лучше справляться с другими задачами. Это справедливое замечание, но я придерживаюсь этих тестов, потому что они просты. Я использую PHP и JavaScript, которые не являются самыми сложными языками, и выполняю некоторые сценарные запросы через ИИ. Такая последовательность позволяет напрямую сравнивать производительность.

Тесты включают написание простого плагина для WordPress, переписывание строковой функции, поиск ошибки, с которой я однажды столкнулся, и использование программных инструментов для извлечения данных из Chrome. Это как обучение вождению — вы не отпустите человека на шоссе, если он не может даже выехать с подъездной дорожки.

На сегодняшний день только ChatGPT с моделью GPT-4 (и выше) прошёл все эти тесты. Интересно, что Perplexity Pro также справился, но это потому, что он работает на базе серии моделей GPT-4. С другой стороны, Microsoft Copilot, несмотря на использование той же модели, провалил все тесты.

Gemini от Google тоже не показал выдающихся результатов. Изначально Bard (раннее название Gemini) провалил большинство тестов, и даже Gemini Advanced, который стоит 20 долларов в месяц, провалил три из четырёх тестов в прошлом году.

Но теперь Google представил Gemini Pro 2.5, и он бесплатен для всех, хотя с ограничениями по количеству запросов. Я столкнулся с этими ограничениями уже после двух запросов во время тестирования, что довольно ограничивает. Возможно, ограничения зависят от сложности задач, а не от количества запросов. Мои первые два запроса были связаны с написанием полноценного плагина для WordPress и исправлением кода, что, возможно, быстрее исчерпало мой лимит, чем более простые запросы.

Несмотря на ожидание, результаты оказались удивительными и стоили того.

Тест 1: Написание простого плагина для WordPress

На этот раз Gemini Pro 2.5 справился блестяще. Задача заключалась в создании плагина для WordPress, который предоставляет пользовательский интерфейс для случайного перемешивания строк ввода и распределения дубликатов так, чтобы они не были соседними.

Ранее Gemini Advanced не создал панель управления в бэкенде, а требовал шорткод в тексте публичной страницы. Он создал базовый интерфейс, но нажатие на кнопку ничего не делало. Как бы я ни корректировал запросы, он всё равно проваливался.

Но Gemini Pro 2.5 предоставил надёжный интерфейс, и код работал как задумано. Меня действительно впечатлил выбор иконки для плагина. Большинство ИИ игнорируют эту деталь, но Gemini Pro 2.5 без моего указания выбрал подходящую иконку из набора Dashicon для WordPress. Код был хорошо документирован, с чётким объяснением каждого основного сегмента.

Тест 2: Переписывание строковой функции

Во втором тесте я попросил Gemini Pro 2.5 модифицировать код обработки строк для работы с долларами и центами, а не только с целыми числами. ChatGPT справился с этим правильно, тогда как Bard в итоге преуспел после первоначальных неудач.

В прошлый раз Gemini Advanced провалился в тонком, но опасном аспекте. Он не разрешал недесятичные входные данные и неправильно ограничивал числа двумя цифрами до десятичной точки, неверно понимая концепцию долларов и центов. Такой тип ошибки мог бы привести к потоку сообщений об ошибках, если бы его не заметили.

Однако Gemini Pro 2.5 справился с задачей. Он корректно проверял типы входных данных, удалял пробелы, исправил регулярное выражение для обработки ведущих нулей и чисто десятичных входных данных, а также отклонял отрицательные входные данные. Код был хорошо прокомментирован, с полным набором тестовых примеров. Хотя он не разрешал группировку запятых или ведущих символов валюты, это были контролируемые ошибки, а не сбои, так что я считаю это успехом.

Тест 3: Поиск ошибки

Однажды я столкнулся с ошибкой в своём коде, который должен был работать, но не работал. Проблема была сложной, и пока я сосредотачивался на количестве передаваемых параметров, ChatGPT указал, что мне нужно изменить что-то в хуке.

Bard и Meta промахнулись, следуя тому же бесплодному пути, что и я. Gemini Advanced в феврале 2024 года предложил искать «вероятно где-то ещё в плагине или WordPress», что было бесполезно.

С Gemini Pro 2.5 я столкнулся с ограничением по количеству запросов после первых двух тестов, так что пришлось ждать следующего дня. Когда я наконец провёл тест, Gemini Pro 2.5 не только нашёл ошибку, но и показал, где именно её исправить, дополнив это полезной диаграммой.

Тест 4: Написание скрипта

Последний тест включает понимание внутренней объектной модели Chrome, AppleScript и Keyboard Maestro, инструмента для создания макросов. Речь идёт об открытии вкладок в Chrome и установке активной вкладки на основе параметра.

Большинство ИИ хорошо справляются с частями, связанными с Chrome и AppleScript, но часто затрудняются с Keyboard Maestro. Однако Gemini Pro 2.5 справился с этим. Он написал необходимый код для корректной передачи переменных, добавил проверку ошибок и уведомления для пользователя, а также предоставил шаги для настройки Keyboard Maestro.

Пройдя все четыре теста, Gemini Pro 2.5 присоединяется к элитной группе ИИ-инструментов, которые действительно могут помочь в программировании.

Было лишь вопросом времени, когда ИИ от Google догонит предложения OpenAI. Статья Google 2017 года «Attention is all you need» запустила бум генеративного ИИ, так что неудивительно, что они достигли этого уровня. Gemini Pro 2.5 работает медленнее, чем ChatGPT Plus, отвечая от 15 секунд до минуты, но точность важнее скорости.

Google также сделал Google Code Assist бесплатным с щедрыми лимитами, но это ценно только если сгенерированный код высокого качества. С Gemini Pro 2.5 это качество теперь очевидно. Хотя сейчас он помечен как «экспериментальный», я ожидаю, что Google скоро доработает его, возможно, предложив платную версию с меньшими ограничениями по количеству запросов.

Ясно, что Gemini Pro 2.5 готов бросить вызов ChatGPT в области помощи в программировании. Я буду внимательно следить за этим развитием и скоро поделюсь новыми обновлениями.