Hogar
Carrera de IA: ¿se puede conciliar una velocidad de vértigo con los imperativos de seguridad?
Una crítica a la seguridad de la IA por parte de un investigador de OpenAI dirigida a un competidor revela una lucha más profunda de la industria: una batalla contra sí misma.
Todo empezó cuando Boaz Barak, profesor de Harvard actualmente en excedencia y que trabaja en seguridad en OpenAI, calificó de "completamente irresponsable" la publicación del modelo Grok de xAI. Su crítica no se refería a las payasadas que acaparaban titulares, sino a lo que faltaba: una tarjeta pública del sistema, evaluaciones de seguridad detalladas y los artefactos básicos de transparencia que se han convertido en frágiles normas de la industria.
Era una llamada a la acción clara y necesaria. Sin embargo, una sincera reflexión del antiguo ingeniero de OpenAI Calvin French-Owen, publicada apenas tres semanas después de su marcha, revela la otra cara de la historia.
El relato de French-Owen indica que un número significativo de empleados de OpenAI se centran de hecho en la seguridad, haciendo frente a amenazas muy reales como la incitación al odio, las armas biológicas y las autolesiones. Sin embargo, ofrece una visión crucial: "La mayor parte del trabajo que se hace no se publica", escribió, y añadió que OpenAI "realmente debería hacer más para darlo a conocer".
Aquí, la simple narrativa de un actor responsable que reprende a otro irresponsable se desmorona. En su lugar, vemos al descubierto el verdadero dilema de la industria. Todo el sector de la IA está atrapado en lo que podría llamarse la "paradoja seguridad-velocidad", un profundo conflicto estructural entre la presión competitiva para avanzar a una velocidad vertiginosa y el imperativo ético de proceder con cautela para proteger a las personas.
Según French-Owen, OpenAI funciona en un estado de caos controlado. La empresa triplicó su plantilla hasta superar las 3.000 personas en sólo un año, donde "todo se rompe cuando escalas tan rápido". Esta energía caótica está impulsada por la inmensa presión de lo que él describe como una "carrera de tres caballos" hacia la inteligencia artificial general, compitiendo directamente con Google y Anthropic. El resultado es una cultura definida por una velocidad increíble, pero también por el secretismo.
Pensemos en el desarrollo de Codex, el agente de codificación de OpenAI. French-Owen describe el proyecto como un "sprint alocado", en el que un pequeño equipo construyó un producto revolucionario desde cero en sólo siete semanas.
Es un ejemplo de libro de texto de velocidad: trabajar hasta medianoche la mayoría de las noches, e incluso los fines de semana, para conseguirlo. Este es el coste humano de tal velocidad. En un entorno que avanza tan rápido, ¿es de extrañar que el trabajo lento y metódico de publicar investigaciones sobre la seguridad de la IA parezca una distracción de la carrera?
Esta paradoja no es fruto de la maldad, sino de una combinación de fuerzas poderosas e interconectadas.
Está la evidente presión competitiva por ser el primero. También está el ADN cultural de estos laboratorios, que se originaron como comunidades informales de "científicos y manitas" que valoran más las innovaciones revolucionarias que los procesos sistemáticos. A esto se añade un problema básico de medición: es fácil medir la velocidad y el rendimiento, pero excepcionalmente difícil cuantificar un desastre evitado con éxito.
En los consejos de administración actuales, las métricas visibles del progreso casi siempre dominan sobre los éxitos invisibles de la seguridad. Sin embargo, para que el sector avance, hay que pasar de culpar a cambiar las reglas del juego.
Debemos redefinir lo que significa lanzar un producto, haciendo que la publicación de un caso de seguridad sea tan integral como el propio código. Necesitamos normas para todo el sector que garanticen que ninguna empresa se vea perjudicada competitivamente por ser diligente, transformando la seguridad de una característica opcional en una base compartida y no negociable.
Por encima de todo, debemos fomentar una cultura dentro de los laboratorios de IA en la que todos los ingenieros -no sólo los del departamento de seguridad- tengan sentido de la responsabilidad.
La carrera por la creación de la inteligencia artificial no se trata sólo de quién llega primero, sino de cómo llegamos. El ganador final no será la empresa que sea simplemente la más rápida, sino la que demuestre al mundo que la ambición y la responsabilidad pueden -y deben- avanzar juntas.
Véase también: Contratos militares de IA adjudicados a Anthropic, OpenAI, Google y xAI
¿Quiere saber más sobre IA y big data de la mano de los líderes del sector? Visite la AI & Big Data Expo que se celebra en Ámsterdam, California y Londres. Este completo evento se celebra junto con otras conferencias importantes, como la Intelligent Automation Conference, BlockX, la Digital Transformation Week y la Cyber Security & Cloud Expo.
Explora otros próximos eventos de tecnología empresarial y webinars impulsados por TechForge aquí.
Artículo relacionado
Google prueba el agente Remy AI para Gemini a medida que el enfoque se desplaza hacia el control del usuario
Según Business Insider, Google está probando Remy, un nuevo agente personal de IA para Gemini. Esta herramienta tiene como objetivo ejecutar tareas en nombre de los usuarios, optimizando tanto los flujos de trabajo profesionales como las rutinas diar
Ollie apuesta por la privacidad para ganar la carrera de los asistentes de IA
Para resultar realmente útil, un asistente de IA debe comprender a fondo a su usuario. Ollie, un asistente personal diseñado para la vida cotidiana, parte de la premisa de que esto no implica ceder tu
Cómo AI LIVE: Londres explorará la inteligencia artificial y la automatización industrial
La cumbre reunirá a altos directivos de todo el mundo para abordar los retos más acuciantes de los sectores industriales a nivel global, que van desde la disrupción impulsada por la inteligencia artif
Recomendaciones de temas especiales relacionados
comentario (2)
0/500
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
Una crítica a la seguridad de la IA por parte de un investigador de OpenAI dirigida a un competidor revela una lucha más profunda de la industria: una batalla contra sí misma.
Todo empezó cuando Boaz Barak, profesor de Harvard actualmente en excedencia y que trabaja en seguridad en OpenAI, calificó de "completamente irresponsable" la publicación del modelo Grok de xAI. Su crítica no se refería a las payasadas que acaparaban titulares, sino a lo que faltaba: una tarjeta pública del sistema, evaluaciones de seguridad detalladas y los artefactos básicos de transparencia que se han convertido en frágiles normas de la industria.
Era una llamada a la acción clara y necesaria. Sin embargo, una sincera reflexión del antiguo ingeniero de OpenAI Calvin French-Owen, publicada apenas tres semanas después de su marcha, revela la otra cara de la historia.
El relato de French-Owen indica que un número significativo de empleados de OpenAI se centran de hecho en la seguridad, haciendo frente a amenazas muy reales como la incitación al odio, las armas biológicas y las autolesiones. Sin embargo, ofrece una visión crucial: "La mayor parte del trabajo que se hace no se publica", escribió, y añadió que OpenAI "realmente debería hacer más para darlo a conocer".
Aquí, la simple narrativa de un actor responsable que reprende a otro irresponsable se desmorona. En su lugar, vemos al descubierto el verdadero dilema de la industria. Todo el sector de la IA está atrapado en lo que podría llamarse la "paradoja seguridad-velocidad", un profundo conflicto estructural entre la presión competitiva para avanzar a una velocidad vertiginosa y el imperativo ético de proceder con cautela para proteger a las personas.
Según French-Owen, OpenAI funciona en un estado de caos controlado. La empresa triplicó su plantilla hasta superar las 3.000 personas en sólo un año, donde "todo se rompe cuando escalas tan rápido". Esta energía caótica está impulsada por la inmensa presión de lo que él describe como una "carrera de tres caballos" hacia la inteligencia artificial general, compitiendo directamente con Google y Anthropic. El resultado es una cultura definida por una velocidad increíble, pero también por el secretismo.
Pensemos en el desarrollo de Codex, el agente de codificación de OpenAI. French-Owen describe el proyecto como un "sprint alocado", en el que un pequeño equipo construyó un producto revolucionario desde cero en sólo siete semanas.
Es un ejemplo de libro de texto de velocidad: trabajar hasta medianoche la mayoría de las noches, e incluso los fines de semana, para conseguirlo. Este es el coste humano de tal velocidad. En un entorno que avanza tan rápido, ¿es de extrañar que el trabajo lento y metódico de publicar investigaciones sobre la seguridad de la IA parezca una distracción de la carrera?
Esta paradoja no es fruto de la maldad, sino de una combinación de fuerzas poderosas e interconectadas.
Está la evidente presión competitiva por ser el primero. También está el ADN cultural de estos laboratorios, que se originaron como comunidades informales de "científicos y manitas" que valoran más las innovaciones revolucionarias que los procesos sistemáticos. A esto se añade un problema básico de medición: es fácil medir la velocidad y el rendimiento, pero excepcionalmente difícil cuantificar un desastre evitado con éxito.
En los consejos de administración actuales, las métricas visibles del progreso casi siempre dominan sobre los éxitos invisibles de la seguridad. Sin embargo, para que el sector avance, hay que pasar de culpar a cambiar las reglas del juego.
Debemos redefinir lo que significa lanzar un producto, haciendo que la publicación de un caso de seguridad sea tan integral como el propio código. Necesitamos normas para todo el sector que garanticen que ninguna empresa se vea perjudicada competitivamente por ser diligente, transformando la seguridad de una característica opcional en una base compartida y no negociable.
Por encima de todo, debemos fomentar una cultura dentro de los laboratorios de IA en la que todos los ingenieros -no sólo los del departamento de seguridad- tengan sentido de la responsabilidad.
La carrera por la creación de la inteligencia artificial no se trata sólo de quién llega primero, sino de cómo llegamos. El ganador final no será la empresa que sea simplemente la más rápida, sino la que demuestre al mundo que la ambición y la responsabilidad pueden -y deben- avanzar juntas.
Véase también: Contratos militares de IA adjudicados a Anthropic, OpenAI, Google y xAI
¿Quiere saber más sobre IA y big data de la mano de los líderes del sector? Visite la AI & Big Data Expo que se celebra en Ámsterdam, California y Londres. Este completo evento se celebra junto con otras conferencias importantes, como la Intelligent Automation Conference, BlockX, la Digital Transformation Week y la Cyber Security & Cloud Expo.
Explora otros próximos eventos de tecnología empresarial y webinars impulsados por TechForge aquí.
Ollie apuesta por la privacidad para ganar la carrera de los asistentes de IA
Para resultar realmente útil, un asistente de IA debe comprender a fondo a su usuario. Ollie, un asistente personal diseñado para la vida cotidiana, parte de la premisa de que esto no implica ceder tu
Cómo AI LIVE: Londres explorará la inteligencia artificial y la automatización industrial
La cumbre reunirá a altos directivos de todo el mundo para abordar los retos más acuciantes de los sectores industriales a nivel global, que van desde la disrupción impulsada por la inteligencia artif
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?











