Los jefes de investigación piden al sector tecnológico que rastree los procesos de razonamiento de la IA

Investigadores de IA de OpenAI, Google DeepMind, Anthropic y una amplia coalición de empresas y organizaciones sin ánimo de lucro abogan por profundizar en el seguimiento de los llamados procesos de pensamiento de los modelos de razonamiento de IA, según un documento de posición publicado el martes.

Una característica definitoria de los modelos de razonamiento de IA, como el o3 de OpenAI y el R1 de DeepSeek, es su uso de cadenas de pensamiento, o CoT, un proceso externalizado en el que los modelos de IA resuelven sistemáticamente los problemas, de forma parecida a los humanos que utilizan papel de borrador para resolver una ecuación matemática compleja. Los modelos de razonamiento son fundamentales para el funcionamiento de los agentes de IA, y los autores del artículo afirman que la supervisión de las CoT podría convertirse en un método vital para mantener bajo control a unos agentes de IA cada vez más capaces y extendidos.

"La supervisión de los CoT ofrece una valiosa mejora de los protocolos de seguridad para la IA de vanguardia, ya que proporciona una ventana única a la forma en que los agentes de IA toman sus decisiones", afirman los investigadores en el documento de posición. "Sin embargo, no hay certeza de que este nivel de visibilidad vaya a continuar. Instamos a la comunidad investigadora y a los desarrolladores de IA de vanguardia a maximizar los beneficios de la monitorización CoT e investigar formas de preservarla."

El documento de posición insta a los principales desarrolladores de IA a investigar qué hace que los CoT sean "monitorizables", en concreto, qué factores mejoran o disminuyen la transparencia sobre cómo los modelos de IA generan realmente sus respuestas. Los autores señalan que, aunque el seguimiento de los CdT es un método prometedor para comprender los modelos de razonamiento de la IA, sigue siendo frágil y advierten contra cualquier cambio que pueda reducir su transparencia o fiabilidad.

Además, los autores instan a los desarrolladores de IA a realizar un seguimiento sistemático de la monitorización CoT y a estudiar cómo podría aplicarse este método como medida de seguridad.

Entre los principales firmantes del documento figuran el director de investigación de OpenAI, Mark Chen, el director general de Safe Superintelligence, Ilya Sutskever, el premio Nobel Geoffrey Hinton, el cofundador de Google DeepMind, Shane Legg, el asesor de seguridad de xAI, Dan Hendrycks, y el cofundador de Thinking Machines, John Schulman. Entre los principales autores figuran representantes del Instituto de Seguridad de la IA del Reino Unido y de Apollo Research, con firmantes adicionales de METR, Amazon, Meta y UC Berkeley.

Este documento representa un esfuerzo unificado de muchos de los principales líderes de la industria de la IA para acelerar la investigación en seguridad de la IA. Llega en un momento de intensa competencia entre empresas tecnológicas, competencia que ha llevado a Meta a contratar a los mejores investigadores de OpenAI, Google DeepMind y Anthropic con ofertas multimillonarias. Entre los investigadores más solicitados se encuentran los especializados en agentes de IA y modelos de razonamiento.

EN DIRECTO TechCrunch All Stage

Construye de forma más inteligente. Escala más rápido. Conecta más. Únete a los innovadores de Precursor Ventures, NEA, Index Ventures, Underscore VC, y más para un día lleno de estrategias prácticas, talleres de inmersión, y la creación de redes significativas.

Ahorra 450 dólares en tu pase TechCrunch All Stage

Construye de forma más inteligente. Escala más rápido. Conecta más. Únase a los innovadores de Precursor Ventures, NEA, Index Ventures, Underscore VC, y más para un día lleno de estrategias prácticas, talleres de inmersión, y la creación de redes significativas.

"Nos encontramos en un momento crucial en el que disponemos de esta nueva capacidad de cadena de pensamiento. Parece muy útil, pero podría desaparecer en unos años si no se le presta la debida atención", afirma Bowen Baker, investigador de OpenAI que participó en el estudio, en una entrevista con TechCrunch. "Publicar un documento de posición como este es, para mí, una forma de impulsar más investigación y atención a este tema antes de que sea demasiado tarde".

OpenAI publicó por primera vez un avance de su modelo inicial de razonamiento de IA, o1, en septiembre de 2024. En los meses siguientes, la industria tecnológica introdujo rápidamente modelos competidores con capacidades similares, y algunos de Google DeepMind, xAI y Anthropic demostraron un rendimiento de referencia aún más avanzado.

Sin embargo, aún no se sabe muy bien cómo funcionan los modelos de razonamiento de la IA. Aunque los laboratorios de IA han avanzado mucho en la mejora del rendimiento de la IA en el último año, esto no ha llevado necesariamente a una comprensión más clara de sus procesos de toma de decisiones.

Anthropic ha sido pionera en la comprensión del funcionamiento de los modelos de IA, un campo conocido como interpretabilidad. A principios de este año, su CEO, Dario Amodei, se comprometió a desentrañar la "caja negra" de los modelos de IA para 2027 y a aumentar la inversión en interpretabilidad. También animó a OpenAI y Google DeepMind a seguir investigando en este campo.

Las primeras investigaciones de Anthropic sugieren que los CoT pueden no ser indicadores del todo fiables de cómo estos modelos generan respuestas. Al mismo tiempo, los investigadores de OpenAI han indicado que el seguimiento de los CoT podría llegar a ser un método fiable para rastrear la alineación y la seguridad en los modelos de IA.

Documentos de posición como este pretenden concienciar y atraer más atención hacia áreas de investigación emergentes, como la monitorización CoT. Empresas como OpenAI, Google DeepMind y Anthropic ya están investigando en este ámbito, pero esta publicación puede ayudar a estimular la financiación y la investigación adicionales.