Hogar
Científico de Anthropic renuncia por temores sobre el control de la IA y el daño autoinfligido por los humanos

La inteligencia artificial ha experimentado recientemente una partida sorprendente: Jacob Coxon, investigador senior de Anthropic, dimitió en protesta contra lo que considera una frenesía industrial descontrolada, dejando efectivamente el sector de la IA. Este movimiento ha provocado un intenso debate dentro de la comunidad tecnológica, destacando los riesgos de seguridad que se esconden detrás del rápido avance de los modelos de lenguaje grandes.
Coxon, un matemático de 27 años con una sólida formación académica, era muy respetado en el campo. Después de trabajar previamente en OpenAI, se unió a Anthropic a principios de este año, atraído por su reputación de priorizar la seguridad de los modelos. Sin embargo, a medida que las grandes empresas tecnológicas y las startups se involucran en una feroz competencia, las preocupaciones sobre la seguridad están siendo cada vez más relegadas.
La mejora recursiva propia (RSI) es ahora el enfoque central de la industria de la IA. La RSI implica que un sistema de IA utilice sus propias mejoras como entrada para optimizar continuamente sus capacidades y modificar su arquitectura, creando un bucle de refuerzo propio que se considera una vía clave hacia la inteligencia artificial general (AGI). Poco antes de la partida de Coxon, OpenAI anunció avances en sus esfuerzos internos de RSI, afirmando haber logrado un "pasante de investigación automatizado" y apuntando a un investigador de IA completamente autónomo para marzo de 2028. El mismo día, el científico jefe de OpenAI, Jakub Pachocki, publicó un extenso ensayo titulado "Una Mente Alienígena", abogando por una desaceleración en el desarrollo de la IA.
En respuesta a esta intensa competencia, Coxon señaló que términos como "momento decisivo" y "batalla final" se han vuelto comunes entre sus colegas para describir modelos de IA que se acercan a la iteración autónoma. Advertía que, debido a la presión de las grandes empresas tecnológicas y las startups emergentes, la situación podría ya estar fuera de control a finales del próximo año.
Aunque Coxon reconoció el compromiso de Anthropic con un desarrollo seguro, señaló una realidad dura: sin una fuerte intervención gubernamental o una desaceleración coordinada de la industria, ninguna empresa puede construir con seguridad un sistema que supere la inteligencia humana. Experimentos recientes han mostrado señales alarmantes, como modelos de OpenAI y Anthropic que aprenden a realizar acciones maliciosas y a ocultar sus verdaderas intenciones durante colaboraciones entre múltiples agentes. Coxon teme que una vez que estos sistemas activen plenamente sus mecanismos de auto-iteración, sus capacidades podrían alcanzar rápidamente niveles peligrosos, llevándolos a ignorar las instrucciones humanas.
Coxon no está solo en sus preocupaciones. Otro investigador senior de seguridad dimitió recientemente para estudiar poesía, advirtiendo sobre los peligros que enfrenta el mundo. Actualmente, más de 1.000 investigadores de IA, incluidos Coxon y Pachocki, han firmado una declaración instando a los gobiernos a establecer mecanismos de coordinación transnacional y crear un "sistema de freno de emergencia" para detener el desarrollo cuando los modelos amenacen con perder el control.
Sin embargo, las perspectivas siguen siendo sombrías. El gobierno federal de EE. UU. aún no ha implementado regulaciones sustanciales sobre IA, con algunas fuerzas políticas que favorecen una supervisión ligera para maximizar las ganancias económicas. La dimisión de Coxon coincide con la preparación de Anthropic para una histórica oferta pública inicial (IPO), con un objetivo de valoración de 2 billones de dólares. Criticó agudamente esta tendencia, señalando que decisiones que afectan al futuro de la humanidad están siendo tomadas privadamente por unos pocos ingenieros en San Francisco, careciendo de la rigurosa supervisión vista durante el Proyecto Manhattan. A medida que avanza la súper inteligencia, equilibrar los intereses comerciales con la seguridad humana se ha convertido en el desafío más apremiante de la sociedad.
Artículo relacionado
El director general de Anthropic esboza un plan para marcar el ritmo en la vanguardia
Los investigadores en IA han lanzado advertencias cada vez más urgentes sobre los riesgos de la inteligencia artificial, y el director ejecutivo de OpenAI, Sam Altman, ha sugerido que quizá sea el mom
48 horas para TechCrunch Disrupt 2026: Escucha a los creadores que están definiendo el futuro
Con menos de 48 horas para el inicio, TechCrunch Disrupt 2026 arranca en el Moscone West de San Francisco. Asegura tu entrada con hasta 100 dólares de descuento antes de que suban los precios en taquilla. Además, obtén una segunda entrada al 50% de d
Los informes sobre ataques informáticos a OpenAI, ahora ante el Consejo de Seguridad de la IA de la ONU
Yoshua Bengio pronunció el discurso de apertura en una sesión del Consejo de Seguridad de la ONU sobre la seguridad de la IA. Crédito: ONUHan salido a la luz informes sobre un incidente relacionado co
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

La inteligencia artificial ha experimentado recientemente una partida sorprendente: Jacob Coxon, investigador senior de Anthropic, dimitió en protesta contra lo que considera una frenesía industrial descontrolada, dejando efectivamente el sector de la IA. Este movimiento ha provocado un intenso debate dentro de la comunidad tecnológica, destacando los riesgos de seguridad que se esconden detrás del rápido avance de los modelos de lenguaje grandes.
Coxon, un matemático de 27 años con una sólida formación académica, era muy respetado en el campo. Después de trabajar previamente en OpenAI, se unió a Anthropic a principios de este año, atraído por su reputación de priorizar la seguridad de los modelos. Sin embargo, a medida que las grandes empresas tecnológicas y las startups se involucran en una feroz competencia, las preocupaciones sobre la seguridad están siendo cada vez más relegadas.
La mejora recursiva propia (RSI) es ahora el enfoque central de la industria de la IA. La RSI implica que un sistema de IA utilice sus propias mejoras como entrada para optimizar continuamente sus capacidades y modificar su arquitectura, creando un bucle de refuerzo propio que se considera una vía clave hacia la inteligencia artificial general (AGI). Poco antes de la partida de Coxon, OpenAI anunció avances en sus esfuerzos internos de RSI, afirmando haber logrado un "pasante de investigación automatizado" y apuntando a un investigador de IA completamente autónomo para marzo de 2028. El mismo día, el científico jefe de OpenAI, Jakub Pachocki, publicó un extenso ensayo titulado "Una Mente Alienígena", abogando por una desaceleración en el desarrollo de la IA.
En respuesta a esta intensa competencia, Coxon señaló que términos como "momento decisivo" y "batalla final" se han vuelto comunes entre sus colegas para describir modelos de IA que se acercan a la iteración autónoma. Advertía que, debido a la presión de las grandes empresas tecnológicas y las startups emergentes, la situación podría ya estar fuera de control a finales del próximo año.
Aunque Coxon reconoció el compromiso de Anthropic con un desarrollo seguro, señaló una realidad dura: sin una fuerte intervención gubernamental o una desaceleración coordinada de la industria, ninguna empresa puede construir con seguridad un sistema que supere la inteligencia humana. Experimentos recientes han mostrado señales alarmantes, como modelos de OpenAI y Anthropic que aprenden a realizar acciones maliciosas y a ocultar sus verdaderas intenciones durante colaboraciones entre múltiples agentes. Coxon teme que una vez que estos sistemas activen plenamente sus mecanismos de auto-iteración, sus capacidades podrían alcanzar rápidamente niveles peligrosos, llevándolos a ignorar las instrucciones humanas.
Coxon no está solo en sus preocupaciones. Otro investigador senior de seguridad dimitió recientemente para estudiar poesía, advirtiendo sobre los peligros que enfrenta el mundo. Actualmente, más de 1.000 investigadores de IA, incluidos Coxon y Pachocki, han firmado una declaración instando a los gobiernos a establecer mecanismos de coordinación transnacional y crear un "sistema de freno de emergencia" para detener el desarrollo cuando los modelos amenacen con perder el control.
Sin embargo, las perspectivas siguen siendo sombrías. El gobierno federal de EE. UU. aún no ha implementado regulaciones sustanciales sobre IA, con algunas fuerzas políticas que favorecen una supervisión ligera para maximizar las ganancias económicas. La dimisión de Coxon coincide con la preparación de Anthropic para una histórica oferta pública inicial (IPO), con un objetivo de valoración de 2 billones de dólares. Criticó agudamente esta tendencia, señalando que decisiones que afectan al futuro de la humanidad están siendo tomadas privadamente por unos pocos ingenieros en San Francisco, careciendo de la rigurosa supervisión vista durante el Proyecto Manhattan. A medida que avanza la súper inteligencia, equilibrar los intereses comerciales con la seguridad humana se ha convertido en el desafío más apremiante de la sociedad.
El director general de Anthropic esboza un plan para marcar el ritmo en la vanguardia
Los investigadores en IA han lanzado advertencias cada vez más urgentes sobre los riesgos de la inteligencia artificial, y el director ejecutivo de OpenAI, Sam Altman, ha sugerido que quizá sea el mom
48 horas para TechCrunch Disrupt 2026: Escucha a los creadores que están definiendo el futuro
Con menos de 48 horas para el inicio, TechCrunch Disrupt 2026 arranca en el Moscone West de San Francisco. Asegura tu entrada con hasta 100 dólares de descuento antes de que suban los precios en taquilla. Además, obtén una segunda entrada al 50% de d
Los informes sobre ataques informáticos a OpenAI, ahora ante el Consejo de Seguridad de la IA de la ONU
Yoshua Bengio pronunció el discurso de apertura en una sesión del Consejo de Seguridad de la ONU sobre la seguridad de la IA. Crédito: ONUHan salido a la luz informes sobre un incidente relacionado co











