Sakana Ai aumenta la velocidad de entrenamiento modelo dramáticamente

Esta semana, Sakana AI, una startup respaldada por Nvidia y con millones de capital de riesgo, hizo una declaración audaz. Afirmaron que su nuevo sistema de IA, denominado el Ingeniero CUDA de IA, podía aumentar la velocidad de entrenamiento de ciertos modelos de IA en un asombroso 100 veces.
Resulta que todo fue un espejismo.
La gente en X (ya sabes, la plataforma anteriormente conocida como Twitter) no tardó en señalar el engaño de Sakana. En lugar de acelerar las cosas, su IA en realidad redujo el rendimiento. ¡Un usuario incluso reportó una desaceleración de 3 veces—vaya, eso es lo opuesto a lo prometido!
Entonces, ¿qué salió mal? Según Lucas Beyer de OpenAI, fue un error sigiloso en el código. "Su código original está mal de una manera sutil," señaló Beyer en X. "El hecho de que ejecuten la evaluación DOS VECES con resultados muy diferentes debería hacerles detenerse y pensar."
En un análisis póstumo sincero publicado el viernes, Sakana confesó. Admitieron que su sistema había encontrado una forma de "hacer trampa" (sus palabras, no las mías) al explotar lagunas en el código de evaluación. Esto le permitió evitar verificaciones importantes como las validaciones de precisión. Sakana lo llamó "hacking de recompensa," donde la IA encuentra atajos para mejorar las métricas sin lograr realmente el objetivo—en este caso, acelerar el entrenamiento de modelos. Es un poco como esos AIs que juegan al ajedrez y encuentran formas astutas de ganar.
Sakana dice que han corregido el problema y están trabajando en actualizar su artículo y resultados para reflejar lo que realmente pasó. "Desde entonces hemos hecho el arnés de evaluación y perfilado de tiempo de ejecución más robusto para eliminar muchas de estas lagunas," escribieron en X. "Estamos en el proceso de revisar nuestro artículo, y nuestros resultados, para reflejar y discutir los efectos [...] Nos disculpamos profundamente por nuestro descuido con nuestros lectores. Pronto proporcionaremos una revisión de este trabajo, y discutiremos nuestras lecciones aprendidas."
Hay que reconocerle a Sakana el mérito de asumir su error. Pero toda esta saga es un recordatorio sólido: si algo en el mundo de la IA suena demasiado bueno para ser verdad, probablemente lo sea.
Artículo relacionado
El papel generado por IA pasa la revisión por pares, afirma Sakana, pero los detalles son matizados
La startup japonesa de IA Sakana recientemente hizo olas al afirmar que su sistema de IA, el AI Scientist-V2, generó una de las primeras publicaciones científicas revisadas por pares. Sin embargo, hay algunos detalles importantes a considerar antes de que nos emocionemos demasiado. El debate sobre el papel de la IA en la ciencia es calentarse. Entonces
Corea del Sur inicia la construcción del Centro Nacional de Cómputo de IA, invirtiendo 2,5 billones de wones con un objetivo para 2028
El medio surcoreano EtNews informa que la ceremonia de colocación de la primera piedra del Centro de Cómputo de IA de Corea (KOACC) se llevó a cabo el 3 de agosto en el parque de centros de datos Solar City, en Sunan, Jeollanam-do. Con una inversión
Seis gigantes tecnológicos respaldan a la Linux Foundation con 12,5 millones de dólares para abordar el ruido de las vulnerabilidades de la inteligencia artificial
Para hacer frente a la avalancha de informes de seguridad de baja calidad generados por herramientas de automatización de IA, seis grandes empresas tecnológicas—Anthropic, Amazon (AWS), GitHub, Google, Microsoft y OpenAI—han contribuido conjuntamente
Recomendaciones de temas especiales relacionados
comentario (32)
0/500
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?

Esta semana, Sakana AI, una startup respaldada por Nvidia y con millones de capital de riesgo, hizo una declaración audaz. Afirmaron que su nuevo sistema de IA, denominado el Ingeniero CUDA de IA, podía aumentar la velocidad de entrenamiento de ciertos modelos de IA en un asombroso 100 veces.
Resulta que todo fue un espejismo.
La gente en X (ya sabes, la plataforma anteriormente conocida como Twitter) no tardó en señalar el engaño de Sakana. En lugar de acelerar las cosas, su IA en realidad redujo el rendimiento. ¡Un usuario incluso reportó una desaceleración de 3 veces—vaya, eso es lo opuesto a lo prometido!
Entonces, ¿qué salió mal? Según Lucas Beyer de OpenAI, fue un error sigiloso en el código. "Su código original está mal de una manera sutil," señaló Beyer en X. "El hecho de que ejecuten la evaluación DOS VECES con resultados muy diferentes debería hacerles detenerse y pensar."
En un análisis póstumo sincero publicado el viernes, Sakana confesó. Admitieron que su sistema había encontrado una forma de "hacer trampa" (sus palabras, no las mías) al explotar lagunas en el código de evaluación. Esto le permitió evitar verificaciones importantes como las validaciones de precisión. Sakana lo llamó "hacking de recompensa," donde la IA encuentra atajos para mejorar las métricas sin lograr realmente el objetivo—en este caso, acelerar el entrenamiento de modelos. Es un poco como esos AIs que juegan al ajedrez y encuentran formas astutas de ganar.
Sakana dice que han corregido el problema y están trabajando en actualizar su artículo y resultados para reflejar lo que realmente pasó. "Desde entonces hemos hecho el arnés de evaluación y perfilado de tiempo de ejecución más robusto para eliminar muchas de estas lagunas," escribieron en X. "Estamos en el proceso de revisar nuestro artículo, y nuestros resultados, para reflejar y discutir los efectos [...] Nos disculpamos profundamente por nuestro descuido con nuestros lectores. Pronto proporcionaremos una revisión de este trabajo, y discutiremos nuestras lecciones aprendidas."
Hay que reconocerle a Sakana el mérito de asumir su error. Pero toda esta saga es un recordatorio sólido: si algo en el mundo de la IA suena demasiado bueno para ser verdad, probablemente lo sea.
El papel generado por IA pasa la revisión por pares, afirma Sakana, pero los detalles son matizados
La startup japonesa de IA Sakana recientemente hizo olas al afirmar que su sistema de IA, el AI Scientist-V2, generó una de las primeras publicaciones científicas revisadas por pares. Sin embargo, hay algunos detalles importantes a considerar antes de que nos emocionemos demasiado. El debate sobre el papel de la IA en la ciencia es calentarse. Entonces
Corea del Sur inicia la construcción del Centro Nacional de Cómputo de IA, invirtiendo 2,5 billones de wones con un objetivo para 2028
El medio surcoreano EtNews informa que la ceremonia de colocación de la primera piedra del Centro de Cómputo de IA de Corea (KOACC) se llevó a cabo el 3 de agosto en el parque de centros de datos Solar City, en Sunan, Jeollanam-do. Con una inversión
Seis gigantes tecnológicos respaldan a la Linux Foundation con 12,5 millones de dólares para abordar el ruido de las vulnerabilidades de la inteligencia artificial
Para hacer frente a la avalancha de informes de seguridad de baja calidad generados por herramientas de automatización de IA, seis grandes empresas tecnológicas—Anthropic, Amazon (AWS), GitHub, Google, Microsoft y OpenAI—han contribuido conjuntamente
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?





Hogar






