La era del escalado de modelos llega a su fin y los avances algorítmicos adquieren prioridad

Durante gran parte de la última década, la inteligencia artificial ha avanzado sobre todo gracias al aumento de escala. El éxito vino de la mano de mayores conjuntos de datos, más parámetros y mayor potencia de cálculo, con equipos que competían por construir modelos cada vez más grandes. El progreso se medía en billones de parámetros y petabytes de datos de entrenamiento, una época que ahora llamamos la era del escalado. Aunque este enfoque ha impulsado gran parte de las capacidades actuales de la IA, nos acercamos a un punto en el que limitarse a agrandar los modelos ya no es el camino más eficaz, inteligente o sostenible. Como resultado, el foco de atención se está desplazando de la mera escala a los avances en los algoritmos. Este artículo analiza por qué ya no basta con aumentar la escala y cómo la próxima oleada de progreso de la IA dependerá de la innovación algorítmica.

La ley del rendimiento decreciente en el escalado de modelos

La era del escalado se construyó sobre sólidas bases empíricas. Los investigadores descubrieron sistemáticamente que el aumento del tamaño de los modelos y los conjuntos de datos conducía a mejoras predecibles del rendimiento, un patrón que se conoció como leyes de escalado. Estos principios se convirtieron en la estrategia que guiaba a los principales laboratorios de IA y desencadenaron una carrera por desarrollar sistemas cada vez más grandes. Esta competición dio lugar a los grandes modelos de lenguaje y a los modelos básicos que impulsan muchas de las aplicaciones de IA actuales. Sin embargo, como ocurre con cualquier tendencia exponencial, la curva de crecimiento de la IA está empezando a estancarse. Los costes de desarrollo de modelos aún mayores están aumentando drásticamente. Entrenar un sistema de última generación puede consumir tanta energía como una pequeña ciudad, lo que plantea importantes problemas medioambientales. El desembolso financiero se ha vuelto tan inmenso que sólo unas pocas organizaciones selectas pueden participar. Al mismo tiempo, estamos asistiendo a señales claras de disminución de los beneficios. Duplicar el número de parámetros ya no se traduce en un aumento proporcional de las capacidades. Las mejoras han pasado a ser incrementales y, en su mayoría, perfeccionan los conocimientos existentes en lugar de habilitar nuevas funcionalidades. El valor obtenido por dólar y vatio adicional invertido es cada vez menor. El enfoque de escalado se acerca a sus límites prácticos y económicos.

La nueva frontera: Eficiencia algorítmica

Las limitaciones de las leyes de escalado han impulsado a los investigadores a pivotar hacia la eficiencia algorítmica. En lugar de depender únicamente de la fuerza bruta computacional, ahora se hace hincapié en el diseño de algoritmos más inteligentes que utilicen los recursos de forma más eficaz. Los últimos avances ponen de manifiesto lo prometedor de esta transición. Por ejemplo, la arquitectura Transformer, impulsada por su mecanismo de atención, ha dominado la IA durante años. Sin embargo, este mecanismo tiene una limitación fundamental: sus requisitos computacionales aumentan rápidamente con la longitud de la secuencia. Los modelos de espacio de estados (SSM), como Mamba, surgen como alternativas convincentes. Al facilitar un razonamiento más selectivo, los SSM pueden alcanzar un rendimiento comparable al de Transformers mucho mayores, al tiempo que funcionan más rápido y utilizan mucha menos memoria.

Otro ejemplo de eficiencia algorítmica es la aparición de los modelos de Mezcla de Expertos (MoE). En lugar de recurrir a toda una red masiva para cada entrada, los sistemas MoE dirigen las tareas sólo al subconjunto más pertinente de redes especializadas más pequeñas, o "expertos". Aunque el modelo completo puede contener miles de millones de parámetros, cada cálculo aprovecha sólo una pequeña parte. Piense en ello como si tuviera una vasta biblioteca pero sólo consultara los pocos libros necesarios para responder a una pregunta, en lugar de leer cada vez todos los volúmenes del edificio. El resultado es la capacidad de conocimiento de un modelo gigante con la eficiencia operativa de uno mucho más pequeño.

Otro ejemplo que integra estos conceptos es DeepSeek-V3, un modelo de Mezcla de Expertos aumentado con Atención Latente Multicabezal (MLA). La MLA refina la atención tradicional comprimiendo los estados clave-valor, lo que permite al modelo manejar secuencias largas de forma eficiente -similar a los SSM-, manteniendo al mismo tiempo las ventajas de los Transformadores. Con 236.000 millones de parámetros en total, pero sólo una pequeña parte activada por tarea, DeepSeek-V3 logra un rendimiento líder en áreas como la codificación y el razonamiento lógico, todo ello siendo más práctico y consumiendo menos recursos que los modelos a escala igualmente grandes.

No se trata de casos aislados. Señalan un movimiento más amplio hacia un diseño más inteligente y eficiente. Los investigadores se concentran ahora en cómo hacer modelos más rápidos, más compactos y menos dependientes de los datos sin comprometer el rendimiento.

Por qué es importante este cambio

La transición de priorizar la escala a hacer hincapié en la innovación algorítmica tiene profundas implicaciones para el panorama de la IA. En primer lugar, democratiza el desarrollo de la IA. Los avances ya no dependen exclusivamente del acceso a los superordenadores más potentes. Ahora, un equipo de investigación pequeño y cualificado puede idear un diseño novedoso que supere a modelos creados con presupuestos mucho mayores. De este modo, la innovación pasa de ser un concurso de recursos a una competición de ideas y conocimientos. En consecuencia, las universidades, las empresas emergentes y los laboratorios independientes pueden asumir papeles más destacados, desafiando el dominio de las grandes corporaciones tecnológicas.

En segundo lugar, hace que la IA sea más práctica para las aplicaciones del mundo real. Un modelo con 500.000 millones de parámetros puede parecer impresionante en los artículos de investigación, pero su enorme tamaño dificulta y encarece su despliegue. En cambio, alternativas eficientes como los modelos Mamba o de Mezcla de Expertos pueden funcionar en hardware estándar, incluidos los dispositivos periféricos. Esta practicidad es esencial para integrar la IA en herramientas cotidianas, como los sistemas de diagnóstico médico o las funciones de traducción en tiempo real de los teléfonos móviles.

En tercer lugar, aborda los problemas de sostenibilidad. La energía necesaria para construir y utilizar modelos masivos de IA se está convirtiendo en un grave problema medioambiental. Si nos centramos en la eficiencia, podemos reducir sustancialmente la huella de carbono asociada al desarrollo de la IA.

El futuro: La era del diseño de la inteligencia

Estamos entrando en lo que podría denominarse la era del diseño de la inteligencia. La pregunta central está pasando de "¿Cómo de grande podemos construir el modelo?" a "¿Cómo podemos diseñar un modelo que sea intrínsecamente más inteligente y eficiente?".

Esta evolución estimulará la innovación en varios ámbitos de investigación fundamentales. Se prevén avances en la arquitectura de los modelos de IA. Los modelos emergentes, incluidos los modelos de espacio de estados antes mencionados, podrían redefinir la forma en que las redes neuronales procesan la información. Por ejemplo, las arquitecturas inspiradas en sistemas dinámicos ya están demostrando capacidades mejoradas en entornos experimentales. Otra área clave serán las técnicas de entrenamiento que permitan a los modelos aprender eficazmente con muchos menos ejemplos. Los avances en el aprendizaje con pocos disparos y cero disparos están haciendo que la IA sea más eficiente en cuanto a datos, mientras que métodos como la dirección de la activación permiten mejorar el comportamiento sin necesidad de volver a entrenar. Los perfeccionamientos posteriores al entrenamiento y la generación de datos sintéticos también están reduciendo drásticamente los requisitos de entrenamiento, a veces por factores de hasta 10.000.

También observaremos un creciente interés por los modelos híbridos, como la IA neuro-simbólica. La IA neurosimbólica, que combina el reconocimiento de patrones de las redes neuronales con el rigor lógico de los sistemas simbólicos, está ganando terreno en 2025, ya que ofrece una mejor capacidad de explicación y una menor dependencia de los datos. Algunos ejemplos notables son AlphaGeometry 2 y AlphaProof, que ayudaron a Google DeepMind a conseguir la medalla de oro en la Olimpiada Internacional de Matemáticas (IMO) 2025. El objetivo es crear sistemas que no se limiten a predecir estadísticamente la siguiente palabra, sino que comprendan y razonen sobre el mundo de una forma más parecida a la humana.

Lo esencial

La era del escalado fue indispensable, ya que aportó avances extraordinarios en IA. Superó los límites de lo alcanzable y creó las tecnologías fundamentales que utilizamos hoy en día. Sin embargo, como cualquier tecnología en proceso de maduración, la estrategia inicial acaba alcanzando sus límites. Los próximos grandes avances no surgirán de añadir más capas a la pila existente. Al contrario, surgirán de la reimaginación de la propia pila.

El futuro pertenece a los pioneros en nuevos algoritmos, arquitecturas y la ciencia básica del aprendizaje automático. Es un futuro en el que la inteligencia no se mide por el número de parámetros, sino por la sofisticación del diseño. La búsqueda de algoritmos más inteligentes no ha hecho más que empezar. Este cambio allana el camino hacia una IA más integradora, responsable con el medio ambiente y auténticamente inteligente.