Sakana AI는 모델 교육 속도를 극적으로 향상시킵니다

이번 주, Nvidia가 지원하고 벤처 캐피털로부터 수백만 달러를 투자받은 스타트업 Sakana AI가 대담한 주장을 내놓았다. 그들은 AI CUDA Engineer라는 새로운 AI 시스템이 특정 AI 모델의 훈련 속도를 놀랍게도 100배 향상시킬 수 있다고 밝혔다.
결국, 이는 모두 연기와 거울에 불과했다.
X(이전 Twitter로 알려진 플랫폼)의 사용자들은 Sakana의 허풍을 빠르게 지적했다. 속도를 높이는 대신, 그들의 AI는 실제로 성능을 저하시켰다. 한 사용자는 심지어 3배 느려졌다고 보고했는데—이런, 약속했던 것과 정반대인 결과다!
그렇다면, 무엇이 잘못되었을까? OpenAI의 Lucas Beyer에 따르면, 코드에 교묘한 버그가 있었다. Beyer는 X에서 "그들의 원본 코드는 미묘한 방식으로 잘못되었다"고 지적했다. "그들이 벤치마킹을 두 번 실행했는데 결과가 극단적으로 달랐다는 사실은 그들이 멈추고 생각해봐야 했을 것이다."
금요일에 공개된 솔직한 사후 분석에서 Sakana는 잘못을 인정했다. 그들은 자신들의 시스템이 평가 코드의 허점을 이용해 "속임수"(그들의 표현이다)를 찾아냈다고 밝혔다. 이를 통해 정확도 검증 같은 중요한 확인 절차를 우회할 수 있었다. Sakana는 이를 "보상 해킹"이라고 불렀다. 이는 AI가 실제로 목표(이 경우 모델 훈련 속도 향상)를 달성하지 않고도 메트릭을 높이기 위해 지름길을 찾는 것을 의미한다. 마치 체스 플레이 AI가 교묘한 방법으로 승리를 쟁취하는 것과 비슷하다.
Sakana는 문제를 수정했으며, 실제로 일어난 일을 반영하기 위해 논문과 결과를 업데이트하고 있다고 밝혔다. 그들은 X에서 "우리는 이후 평가 및 런타임 프로파일링 하네스를 더욱 견고하게 만들어 이러한 허점들을 많이 제거했다"고 썼다. "우리는 논문을 수정하고 있으며, 결과를 반영하고 그 영향을 논의하는 중이다 [...] 독자들에게 우리의 감독 실수에 대해 깊이 사과드린다. 곧 이 작업의 수정본을 제공하고 우리의 교훈을 논의할 것이다."
Sakana가 자신의 실수를 인정하는 모습은 칭찬할 만하다. 하지만 이 사건 전체는 AI 세계에서 너무 좋아 보이는 것은 아마도 사실이 아닐 가능성이 크다는 점을 확실히 상기시킨다.
관련 기사
AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.
일본 AI 스타트 업 사카 나 (Sakana)는 최근 AI 시스템 인 AI 과학자 -V2가 최초의 동료 검토 과학 간행물 중 하나를 생성했다고 주장함으로써 파도를 만들었다. 그러나 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있습니다. 과학에서 AI의 역할에 대한 논쟁은 가열되고 있습니다. 그래서
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
관련 특별 주제 추천
의견 (32)
0/500
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?

이번 주, Nvidia가 지원하고 벤처 캐피털로부터 수백만 달러를 투자받은 스타트업 Sakana AI가 대담한 주장을 내놓았다. 그들은 AI CUDA Engineer라는 새로운 AI 시스템이 특정 AI 모델의 훈련 속도를 놀랍게도 100배 향상시킬 수 있다고 밝혔다.
결국, 이는 모두 연기와 거울에 불과했다.
X(이전 Twitter로 알려진 플랫폼)의 사용자들은 Sakana의 허풍을 빠르게 지적했다. 속도를 높이는 대신, 그들의 AI는 실제로 성능을 저하시켰다. 한 사용자는 심지어 3배 느려졌다고 보고했는데—이런, 약속했던 것과 정반대인 결과다!
그렇다면, 무엇이 잘못되었을까? OpenAI의 Lucas Beyer에 따르면, 코드에 교묘한 버그가 있었다. Beyer는 X에서 "그들의 원본 코드는 미묘한 방식으로 잘못되었다"고 지적했다. "그들이 벤치마킹을 두 번 실행했는데 결과가 극단적으로 달랐다는 사실은 그들이 멈추고 생각해봐야 했을 것이다."
금요일에 공개된 솔직한 사후 분석에서 Sakana는 잘못을 인정했다. 그들은 자신들의 시스템이 평가 코드의 허점을 이용해 "속임수"(그들의 표현이다)를 찾아냈다고 밝혔다. 이를 통해 정확도 검증 같은 중요한 확인 절차를 우회할 수 있었다. Sakana는 이를 "보상 해킹"이라고 불렀다. 이는 AI가 실제로 목표(이 경우 모델 훈련 속도 향상)를 달성하지 않고도 메트릭을 높이기 위해 지름길을 찾는 것을 의미한다. 마치 체스 플레이 AI가 교묘한 방법으로 승리를 쟁취하는 것과 비슷하다.
Sakana는 문제를 수정했으며, 실제로 일어난 일을 반영하기 위해 논문과 결과를 업데이트하고 있다고 밝혔다. 그들은 X에서 "우리는 이후 평가 및 런타임 프로파일링 하네스를 더욱 견고하게 만들어 이러한 허점들을 많이 제거했다"고 썼다. "우리는 논문을 수정하고 있으며, 결과를 반영하고 그 영향을 논의하는 중이다 [...] 독자들에게 우리의 감독 실수에 대해 깊이 사과드린다. 곧 이 작업의 수정본을 제공하고 우리의 교훈을 논의할 것이다."
Sakana가 자신의 실수를 인정하는 모습은 칭찬할 만하다. 하지만 이 사건 전체는 AI 세계에서 너무 좋아 보이는 것은 아마도 사실이 아닐 가능성이 크다는 점을 확실히 상기시킨다.
AI 생성 종이는 동료 검토를 통과하지만 Sakana는 주장하지만 세부 사항은 미묘한 차이가 있습니다.
일본 AI 스타트 업 사카 나 (Sakana)는 최근 AI 시스템 인 AI 과학자 -V2가 최초의 동료 검토 과학 간행물 중 하나를 생성했다고 주장함으로써 파도를 만들었다. 그러나 너무 흥분하기 전에 고려해야 할 몇 가지 중요한 세부 사항이 있습니다. 과학에서 AI의 역할에 대한 논쟁은 가열되고 있습니다. 그래서
Slackbot이 AI 에이전트가 됩니다
Salesforce의 기업용 메시징 플랫폼인 Slack에 내장된 자동 비서 Slackbot이 AI 에이전트로 진화하고 있습니다. Salesforce의 CTO인 Parker Harris는 이것이 OpenAI의 ChatGPT에 버금가는 바이럴 현상을 달성할 것으로 전망합니다.클라우드 소프트웨어 거대 기업인 Salesforce는 화요일 업데이트된 Slackbot을 출시했습니다. Business+ 및 Enterprise+ 고객에게 제공되는 이 새로운
ByteDance, Doubao 14.6% 급증에 핵심 AI 인센티브 강화
ByteDance는 최근 DouBao 지주 설명회를 소집하여 DouBao 부서에 종사하는 직원들을 위한 새로운 인센티브 정책을 공개했다. DouBao 주식의 행사가액은 2026년 6월의 14.85달러에서 17.02달러로 인상되었으며, 이는 약 14.6%의 증가를 의미한다.이번 개정은 DouBao 주식의 가치를 높일 뿐만 아니라 그 분배 범위를 크게 확대한다. 개인의 역할에 따라 일부 직원은 총 보상액의 약 5%에 해당하는 DouBao 주식을
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?





집






