HogarEl documento de seguridad AGI de Deepmind no puede balancear a los escépticos
El miércoles, Google DeepMind publicó un extenso artículo de 145 páginas que profundiza en su enfoque sobre la seguridad de la AGI. La AGI, o inteligencia general artificial, es el tipo de IA que puede realizar cualquier tarea que un humano pueda, y es un tema candente en el mundo de la IA. Algunos piensan que es solo una fantasía, mientras que otros, como los grandes nombres en Anthropic, creen que está a la vuelta de la esquina y podría causar problemas serios si no ponemos en orden nuestras medidas de seguridad.
El artículo de DeepMind, escrito con la ayuda del cofundador Shane Legg, calcula que la AGI podría aparecer para 2030 y podría conducir a lo que llaman "daños graves". No lo especifican exactamente, pero utilizan frases alarmantes como "riesgos existenciales" que podrían "destruir permanentemente a la humanidad".
"Estamos apostando por ver una AGI Excepcional antes de que termine esta década", señalan los autores. "Una AGI Excepcional es un sistema que puede igualar las habilidades del 1% superior de los adultos en una serie de tareas no físicas, incluyendo cosas complicadas como aprender nuevas habilidades".
Desde el principio, el artículo compara la forma en que DeepMind aborda el riesgo de la AGI con la de Anthropic y OpenAI. Dice que Anthropic no es tan fanático de "entrenamiento robusto, monitoreo y seguridad", mientras que OpenAI se centra en "automatizar" un tipo de investigación de seguridad de IA llamada investigación de alineación.
El artículo también critica la idea de una IA superinteligente — IA que es mejor en los trabajos que cualquier humano. (OpenAI recientemente dijo que están cambiando su enfoque de la AGI a la superinteligencia). Sin grandes avances nuevos, los autores de DeepMind no creen que los sistemas superinteligentes lleguen pronto — o tal vez nunca.
Pero sí piensan que es posible que nuestros métodos actuales puedan llevar a una "mejora recursiva de la IA", donde la IA realiza su propia investigación de IA para crear sistemas de IA aún más inteligentes. Y eso, advierten, podría ser súper peligroso.
En general, el artículo sugiere que necesitamos desarrollar formas de mantener a los malos actores alejados de la AGI, entender mejor qué están haciendo los sistemas de IA y hacer que los entornos donde opera la IA sean más seguros. Admiten que muchas de estas ideas aún están en sus primeras etapas y tienen "problemas de investigación abiertos", pero instan a no ignorar los problemas de seguridad que podrían avecinarse.
"La AGI podría traer beneficios asombrosos o daños graves", señalan los autores. "Por lo tanto, para construir la AGI de la manera correcta, es crucial que los principales desarrolladores de IA planifiquen con antelación y aborden esos grandes riesgos".
Sin embargo, no todos están de acuerdo con las ideas del artículo.
Heidy Khlaaf, la científica jefe de IA en el Instituto AI Now, sin fines de lucro, dijo a TechCrunch que piensa que la AGI es un concepto demasiado difuso para ser "evaluado rigurosamente de manera científica". Otro investigador de IA, Matthew Guzdial de la Universidad de Alberta, dijo que no está convencido de que la mejora recursiva de la IA sea factible en este momento.
"La mejora recursiva es en lo que se basan los argumentos de la singularidad de la inteligencia", dijo Guzdial a TechCrunch, "pero nunca hemos visto ninguna evidencia de que realmente funcione".
Sandra Wachter, que estudia tecnología y regulación en Oxford, señala una preocupación más apremiante: la IA reforzándose con "resultados inexactos".
"Con cada vez más contenido generado por IA en línea y datos reales siendo reemplazados, los modelos están aprendiendo de sus propios resultados que están llenos de inexactitudes o alucinaciones", dijo a TechCrunch. "Dado que los chatbots se usan principalmente para buscar y encontrar la verdad, siempre estamos en riesgo de recibir información falsa que se presenta de una manera muy convincente".
Por exhaustivo que sea, el artículo de DeepMind probablemente no pondrá fin a los debates sobre cuán probable es realmente la AGI — y qué problemas de seguridad de IA necesitan más atención en este momento.
Artículo relacionado
El RSI se convierte en el nuevo AGI, igual de difícil de definir
El término «recursión» se ha convertido en la última palabra de moda en el ámbito de la inteligencia artificial. Dos startups distintas lo han adoptado como nombre, y muchas otras hacen ahora referenc
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
El cofundador de Databricks afirma que la IA general está al caer tras ganar el premio ACM
Matei Zaharia, cofundador y director técnico de Databricks, estuvo a punto de pasar por alto el correo electrónico en el que se le comunicaba que había sido galardonado con el Premio ACM de Informátic
Recomendaciones de temas especiales relacionados
escribiendo
Los mejores generadores de esquemas basados en IA para artículos largos optimizados para SEO
Los mejores generadores de esquemas con IA mejor valorados de 2026 para artículos largos optimizados para SEO, seleccionados minuciosamente por XIX.AI. Estas potentes herramientas ofrecen una ayuda revolucionaria a la hora de crear contenido de alta calidad rápidamente, lo que aumenta considerablemente la eficiencia a la hora de escribir. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones detalladas, que te ayudarán a encontrar la opción imprescindible que mejor se adapte a tus necesidades. Explora ahora para descubrir las ventajas que te ofrece la IA.
8 herramientas
xix.ai
Educación y aprendizaje
Herramientas de estudio basadas en IA para los deberes y la preparación de exámenes
¡Las mejores herramientas de IA de 2026 para hacer los deberes y prepararse para los exámenes! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que ayudan a los estudiantes a aumentar su productividad, agilizar la realización de los deberes y sacar sobresaliente en los exámenes gracias a pruebas reales. Consigue una comparación entre versiones gratuitas y de pago, clasificaciones detalladas y opciones imprescindibles para sacar el máximo partido a la IA. ¡Explora ahora!
10 herramientas
xix.ai
composicion musical
Herramientas de demostración vocal con IA para compositores, ganchos, melodías principales y sesiones de borrador multilingüe
¡Las mejores herramientas de demostración vocal con IA de 2026 para compositores, creadores de ganchos y equipos de contenido multilingüe! XIX.AI ha recopilado una lista de herramientas poderosas y transformadoras, rigurosamente probadas en el mundo real. Encontrarás datos detallados de comparación entre versiones gratuitas y de pago, clasificaciones completas y opciones imprescindibles para ayudarte a aumentar tu eficiencia de escritura y desbloquear todo tu potencial creativo. ¡Explora ahora para descubrir la herramienta perfecta para todas tus necesidades de contenido!
9 herramientas
xix.ai
Negocio
Las mejores herramientas de investigación competitiva basadas en IA para pequeñas empresas
¡Las mejores herramientas de investigación competitiva basadas en IA mejor valoradas de 2026 para pequeñas empresas! XIX.AI ha seleccionado una colección revolucionaria y muy potente, que se actualiza semanalmente con rigurosas pruebas en el mundo real y clasificaciones detalladas. Encontrarás una comparación exhaustiva entre las opciones gratuitas y las de pago que te ayudará a identificar las herramientas imprescindibles que impulsarán tu productividad y te proporcionarán una ventaja competitiva. ¡Explora ahora mismo y descubre la herramienta perfecta para ti!
9 herramientas
xix.ai
Edición de imágenes
Herramientas de retoque con IA de Photoshop para ropa de comercio electrónico, limpieza de piel y consistencia del color
¡Las mejores herramientas de retoque con IA de Photoshop de 2026 para ropa de comercio electrónico, limpieza de piel y consistencia de color! Esta lista curada de alta calificación presenta soluciones poderosas que cambian las reglas del juego, que ayudan a aumentar la eficiencia de redacción, optimizar la creación de contenido y lograr resultados visuales perfectos sin esfuerzo. Cada herramienta ha pasado por pruebas en el mundo real a través de clasificaciones actualizadas semanalmente, con detalles completos de comparación entre versiones gratuitas y de pago. Respaldado por XIX.AI, es la guía imprescindible para cualquier persona que aspire a desbloquear su ventaja con IA. ¡Explora ahora!
10 herramientas
xix.ai
Inmediato
Las mejores bibliotecas de indicaciones de IA para los flujos de trabajo de ChatGPT
Las mejores bibliotecas de prompts de IA de 2026, con las más valoradas, para optimizar todo tipo de flujos de trabajo de ChatGPT. XIX.AI ha seleccionado una colección potente y revolucionaria que se somete a rigurosas pruebas en condiciones reales para garantizar el máximo rendimiento. Encontrarás comparativas detalladas entre opciones gratuitas y de pago, así como clasificaciones de expertos, que te ayudarán a elegir las herramientas imprescindibles para potenciar tu productividad y sacar el máximo partido a la IA. ¡Explora ahora!
11 herramientas
xix.ai
comentario (52)
0/500
![FrankJackson]()
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
![PaulTaylor]()
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
![JimmyGarcia]()
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
![DouglasMitchell]()
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
![DanielPerez]()
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
![CarlPerez]()
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
El miércoles, Google DeepMind publicó un extenso artículo de 145 páginas que profundiza en su enfoque sobre la seguridad de la AGI. La AGI, o inteligencia general artificial, es el tipo de IA que puede realizar cualquier tarea que un humano pueda, y es un tema candente en el mundo de la IA. Algunos piensan que es solo una fantasía, mientras que otros, como los grandes nombres en Anthropic, creen que está a la vuelta de la esquina y podría causar problemas serios si no ponemos en orden nuestras medidas de seguridad.
El artículo de DeepMind, escrito con la ayuda del cofundador Shane Legg, calcula que la AGI podría aparecer para 2030 y podría conducir a lo que llaman "daños graves". No lo especifican exactamente, pero utilizan frases alarmantes como "riesgos existenciales" que podrían "destruir permanentemente a la humanidad".
"Estamos apostando por ver una AGI Excepcional antes de que termine esta década", señalan los autores. "Una AGI Excepcional es un sistema que puede igualar las habilidades del 1% superior de los adultos en una serie de tareas no físicas, incluyendo cosas complicadas como aprender nuevas habilidades".
Desde el principio, el artículo compara la forma en que DeepMind aborda el riesgo de la AGI con la de Anthropic y OpenAI. Dice que Anthropic no es tan fanático de "entrenamiento robusto, monitoreo y seguridad", mientras que OpenAI se centra en "automatizar" un tipo de investigación de seguridad de IA llamada investigación de alineación.
El artículo también critica la idea de una IA superinteligente — IA que es mejor en los trabajos que cualquier humano. (OpenAI recientemente dijo que están cambiando su enfoque de la AGI a la superinteligencia). Sin grandes avances nuevos, los autores de DeepMind no creen que los sistemas superinteligentes lleguen pronto — o tal vez nunca.
Pero sí piensan que es posible que nuestros métodos actuales puedan llevar a una "mejora recursiva de la IA", donde la IA realiza su propia investigación de IA para crear sistemas de IA aún más inteligentes. Y eso, advierten, podría ser súper peligroso.
En general, el artículo sugiere que necesitamos desarrollar formas de mantener a los malos actores alejados de la AGI, entender mejor qué están haciendo los sistemas de IA y hacer que los entornos donde opera la IA sean más seguros. Admiten que muchas de estas ideas aún están en sus primeras etapas y tienen "problemas de investigación abiertos", pero instan a no ignorar los problemas de seguridad que podrían avecinarse.
"La AGI podría traer beneficios asombrosos o daños graves", señalan los autores. "Por lo tanto, para construir la AGI de la manera correcta, es crucial que los principales desarrolladores de IA planifiquen con antelación y aborden esos grandes riesgos".
Sin embargo, no todos están de acuerdo con las ideas del artículo.
Heidy Khlaaf, la científica jefe de IA en el Instituto AI Now, sin fines de lucro, dijo a TechCrunch que piensa que la AGI es un concepto demasiado difuso para ser "evaluado rigurosamente de manera científica". Otro investigador de IA, Matthew Guzdial de la Universidad de Alberta, dijo que no está convencido de que la mejora recursiva de la IA sea factible en este momento.
"La mejora recursiva es en lo que se basan los argumentos de la singularidad de la inteligencia", dijo Guzdial a TechCrunch, "pero nunca hemos visto ninguna evidencia de que realmente funcione".
Sandra Wachter, que estudia tecnología y regulación en Oxford, señala una preocupación más apremiante: la IA reforzándose con "resultados inexactos".
"Con cada vez más contenido generado por IA en línea y datos reales siendo reemplazados, los modelos están aprendiendo de sus propios resultados que están llenos de inexactitudes o alucinaciones", dijo a TechCrunch. "Dado que los chatbots se usan principalmente para buscar y encontrar la verdad, siempre estamos en riesgo de recibir información falsa que se presenta de una manera muy convincente".
Por exhaustivo que sea, el artículo de DeepMind probablemente no pondrá fin a los debates sobre cuán probable es realmente la AGI — y qué problemas de seguridad de IA necesitan más atención en este momento.
El RSI se convierte en el nuevo AGI, igual de difícil de definir
El término «recursión» se ha convertido en la última palabra de moda en el ámbito de la inteligencia artificial. Dos startups distintas lo han adoptado como nombre, y muchas otras hacen ahora referenc
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
El cofundador de Databricks afirma que la IA general está al caer tras ganar el premio ACM
Matei Zaharia, cofundador y director técnico de Databricks, estuvo a punto de pasar por alto el correo electrónico en el que se le comunicaba que había sido galardonado con el Premio ACM de Informátic
Los mejores generadores de esquemas con IA mejor valorados de 2026 para artículos largos optimizados para SEO, seleccionados minuciosamente por XIX.AI. Estas potentes herramientas ofrecen una ayuda revolucionaria a la hora de crear contenido de alta calidad rápidamente, lo que aumenta considerablemente la eficiencia a la hora de escribir. Consigue una comparación entre las versiones gratuitas y de pago, junto con pruebas en condiciones reales y clasificaciones detalladas, que te ayudarán a encontrar la opción imprescindible que mejor se adapte a tus necesidades. Explora ahora para descubrir las ventajas que te ofrece la IA.
8 herramientas
xix.ai
¡Las mejores herramientas de IA de 2026 para hacer los deberes y prepararse para los exámenes! XIX.AI ha elaborado una lista con las herramientas mejor valoradas, potentes y revolucionarias que ayudan a los estudiantes a aumentar su productividad, agilizar la realización de los deberes y sacar sobresaliente en los exámenes gracias a pruebas reales. Consigue una comparación entre versiones gratuitas y de pago, clasificaciones detalladas y opciones imprescindibles para sacar el máximo partido a la IA. ¡Explora ahora!
10 herramientas
xix.ai
¡Las mejores herramientas de demostración vocal con IA de 2026 para compositores, creadores de ganchos y equipos de contenido multilingüe! XIX.AI ha recopilado una lista de herramientas poderosas y transformadoras, rigurosamente probadas en el mundo real. Encontrarás datos detallados de comparación entre versiones gratuitas y de pago, clasificaciones completas y opciones imprescindibles para ayudarte a aumentar tu eficiencia de escritura y desbloquear todo tu potencial creativo. ¡Explora ahora para descubrir la herramienta perfecta para todas tus necesidades de contenido!
9 herramientas
xix.ai
¡Las mejores herramientas de investigación competitiva basadas en IA mejor valoradas de 2026 para pequeñas empresas! XIX.AI ha seleccionado una colección revolucionaria y muy potente, que se actualiza semanalmente con rigurosas pruebas en el mundo real y clasificaciones detalladas. Encontrarás una comparación exhaustiva entre las opciones gratuitas y las de pago que te ayudará a identificar las herramientas imprescindibles que impulsarán tu productividad y te proporcionarán una ventaja competitiva. ¡Explora ahora mismo y descubre la herramienta perfecta para ti!
9 herramientas
xix.ai
¡Las mejores herramientas de retoque con IA de Photoshop de 2026 para ropa de comercio electrónico, limpieza de piel y consistencia de color! Esta lista curada de alta calificación presenta soluciones poderosas que cambian las reglas del juego, que ayudan a aumentar la eficiencia de redacción, optimizar la creación de contenido y lograr resultados visuales perfectos sin esfuerzo. Cada herramienta ha pasado por pruebas en el mundo real a través de clasificaciones actualizadas semanalmente, con detalles completos de comparación entre versiones gratuitas y de pago. Respaldado por XIX.AI, es la guía imprescindible para cualquier persona que aspire a desbloquear su ventaja con IA. ¡Explora ahora!
10 herramientas
xix.ai
Las mejores bibliotecas de prompts de IA de 2026, con las más valoradas, para optimizar todo tipo de flujos de trabajo de ChatGPT. XIX.AI ha seleccionado una colección potente y revolucionaria que se somete a rigurosas pruebas en condiciones reales para garantizar el máximo rendimiento. Encontrarás comparativas detalladas entre opciones gratuitas y de pago, así como clasificaciones de expertos, que te ayudarán a elegir las herramientas imprescindibles para potenciar tu productividad y sacar el máximo partido a la IA. ¡Explora ahora!
11 herramientas
xix.ai
Interesting read! But honestly, a 145-page paper from DeepMind feels more like a corporate PR move than a real solution. Can we really trust the same companies racing to build AGI to also be the ones setting safety rules? 🧐 It's like letting foxes design the henhouse security. I'd love to see more independent oversight and less glossy documentation.
Este artículo me hace pensar que la seguridad de AGI es como intentar construir un paracaídas mientras ya estás cayendo del avión. DeepMind tiene buenas intenciones, pero 145 páginas no van a convencer a los escépticos si no demuestran resultados prácticos. 🤔 ¿Alguien más siente que estas discusiones se repiten cada seis meses sin avances reales?
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
