Gemini Pro 2.5: un poderoso asistente de codificación que representa una gran amenaza para chatgpt

Cuando se trata de evaluar la IA para asistencia en codificación, he desarrollado un conjunto de cuatro pruebas estandarizadas. Estas pruebas son cruciales para evaluar qué tan bien una IA puede apoyar tus esfuerzos de programación. Después de todo, lo último que necesitas es una IA que añada más errores a tu código, ¿verdad?

Hace un tiempo, un lector cuestionó mi enfoque, sugiriendo que las IAs podrían desempeñarse mejor con diferentes desafíos. Es un punto válido, pero me mantengo en estas pruebas porque son directas. Uso PHP y JavaScript, que no son los lenguajes más difíciles que existen, y ejecuto algunas consultas de scripts a través de las IAs. Esta consistencia permite comparar directamente el rendimiento.

Las pruebas incluyen escribir un complemento simple de WordPress, reescribir una función de cadena, encontrar un error con el que alguna vez tuve problemas, y usar herramientas de programación para extraer datos de Chrome. Es como enseñar a alguien a conducir: no los dejarías sueltos en una autopista si ni siquiera pueden salir del camino de entrada.

Hasta la fecha, solo el LLM GPT-4 (y superiores) de ChatGPT ha pasado todas estas pruebas. Curiosamente, Perplexity Pro también tuvo éxito, pero eso es porque utiliza la serie de LLM GPT-4. Por otro lado, Microsoft Copilot, a pesar de usar el mismo LLM, falló en todas las pruebas.

El Gemini de Google no ha tenido mucho mejor desempeño. Inicialmente, Bard (el nombre inicial de Gemini) falló en la mayoría de las pruebas, e incluso Gemini Advanced, que cuesta $20 al mes, falló en tres de las cuatro pruebas el año pasado.

Pero ahora, Google ha presentado Gemini Pro 2.5, y es gratuito para todos, aunque con límites de uso. Alcancé esos límites después de solo dos prompts durante mis pruebas, lo cual es un poco restrictivo. Es posible que el límite de uso esté basado en la complejidad de las tareas más que en el número de prompts. Mis dos primeras solicitudes fueron escribir un complemento completo de WordPress y corregir algo de código, lo que podría haber consumido mi límite más rápido que consultas más simples.

A pesar de la espera, los resultados fueron sorprendentes y valieron la pena.

Prueba 1: Escribir un complemento simple de WordPress

Esta vez, Gemini Pro 2.5 lo hizo excepcionalmente bien. El desafío fue crear un complemento de WordPress que proporcione una interfaz de usuario para randomizar líneas de entrada y distribuir duplicados para que no estén adyacentes.

Anteriormente, Gemini Advanced no creó un panel de administración trasero, sino que requirió un shortcode en el texto del cuerpo de una página pública. Creó una interfaz básica, pero al hacer clic en el botón no pasaba nada. No importaba cómo ajustara los prompts, seguía fallando.

Pero Gemini Pro 2.5 entregó una interfaz sólida, y el código funcionó como se esperaba. Lo que realmente me impresionó fue la elección del ícono para el complemento. La mayoría de las IAs ignoran este detalle, pero Gemini Pro 2.5 eligió un ícono relevante del conjunto de Dashicons de WordPress sin que yo lo pidiera. El código estaba bien documentado, con cada segmento principal explicado claramente.

Prueba 2: Reescribir una función de cadena

En la segunda prueba, pedí a Gemini Pro 2.5 que modificara un código de procesamiento de cadenas para manejar dólares y centavos, no solo enteros. ChatGPT lo hizo correctamente, mientras que Bard eventualmente tuvo éxito tras fallos iniciales.

La última vez, Gemini Advanced falló de una manera sutil pero peligrosa. No permitió entradas no decimales y limitó incorrectamente los números a dos dígitos antes del punto decimal, malinterpretando el concepto de dólares y centavos. Este tipo de error podría generar una avalancha de informes de errores si no se detecta.

Sin embargo, Gemini Pro 2.5 lo logró. Verificó correctamente los tipos de entrada, eliminó espacios en blanco, corrigió la expresión regular para manejar ceros iniciales y entradas solo decimales, y rechazó entradas negativas. El código estaba bien comentado, con un conjunto completo de ejemplos de prueba. Aunque no permitió comas de agrupación ni símbolos de moneda iniciales, estos fueron errores controlados, no fallos, por lo que lo considero un aprobado.

Prueba 3: Encontrar un error

Una vez, tuve problemas con un error en mi código que debería haber funcionado pero no lo hizo. El problema era complicado, y mientras yo me enfocaba en la cantidad de parámetros pasados, ChatGPT señaló que necesitaba cambiar algo en un hook.

Tanto Bard como Meta fallaron, siguiendo el mismo camino inútil que yo. Gemini Advanced, en febrero de 2024, sugirió mirar "probablemente en otro lugar del complemento o de WordPress", lo cual no fue útil.

Con Gemini Pro 2.5, alcancé el límite de uso después de las dos primeras pruebas, así que tuve que esperar al día siguiente. Cuando finalmente ejecuté la prueba, Gemini Pro 2.5 no solo encontró el error, sino que también me mostró exactamente dónde corregirlo, acompañado de un diagrama útil.

Prueba 4: Escribir un script

La prueba final implica entender el modelo de objetos interno de Chrome, AppleScript y Keyboard Maestro, una herramienta para construir macros. Se trata de abrir pestañas de Chrome y establecer la pestaña activa según un parámetro.

La mayoría de las IAs manejan bien las partes de Chrome y AppleScript, pero a menudo tienen problemas con Keyboard Maestro. Sin embargo, Gemini Pro 2.5 lo hizo bien. Escribió el código necesario para pasar variables correctamente, añadió verificación de errores y notificaciones al usuario, e incluso proporcionó pasos para configurar Keyboard Maestro.

Con las cuatro pruebas aprobadas, Gemini Pro 2.5 se une al grupo élite de herramientas de IA que realmente pueden asistir en tareas de programación.

Era solo cuestión de tiempo antes de que la IA de Google alcanzara las ofertas de OpenAI. El artículo de Google de 2017 "Attention is all you need" dio inicio al auge de la IA generativa, por lo que no es sorpresa que hayan llegado a este punto. Gemini Pro 2.5 es más lento que ChatGPT Plus, tomando entre 15 segundos y un minuto para responder, pero la precisión es más importante que la velocidad.

Google también ha hecho que Google Code Assist sea gratuito con límites generosos, pero solo es valioso si el código generado es de alta calidad. Con Gemini Pro 2.5, esa calidad ahora es evidente. Aunque actualmente está marcado como "experimental", espero que Google lo refine pronto, posiblemente ofreciendo una versión de pago con menos límites de uso.

Está claro que Gemini Pro 2.5 está listo para desafiar a ChatGPT en el ámbito de la asistencia en codificación. Estaré siguiendo de cerca este desarrollo y compartiré más actualizaciones pronto.