Sakana AIは、モデルトレーニング速度を劇的に向上させます

今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X(以前はTwitterとして知られていたプラットフォーム)のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました!
では、何が問題だったのでしょうか?OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」(彼らの言葉で、私の言葉ではありません)する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
関連記事
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
スウェーデンのAIスタートアップ「Lovable」が主要な資金調達ラウンド終了後、132億ドルの評価額を達成
AI駆動のコーディングツールが注目を集める中、スウェーデンのスタートアップ企業Lovableは大型の資金調達ラウンドを獲得した。同社は30億ドルの調達を目指しており、これにより評価額が昨年12月に記録された66億ドルの倍となる132億ドルに達する可能性がある。この投資をリードするのはMenlo Venturesと見られている。Lovableの魅力は、複雑なコーディングスキルを不要とし、ソフトウェア作成を簡素化する中核の「ヴァイブコーディング」技術に由来する。ユーザーは自然言語で要件を記述するだ
Google、Geminiへの焦点がユーザー制御へシフトする中で、Remy AIエージェントをテスト
『Business Insider』によると、GoogleはGemini向けの新しいAIパーソナルエージェント「Remy」をテスト中である。このツールはユーザーに代わってタスクを実行することを目的としており、業務フローと日常のルーチンの両方を効率化する。現在、RemyはGeminiアプリケーションの社内限定版においてテストが行われている。この報道は社内文書と、プロジェクトに精通した2人の人物へのインタビューを引用している。社内資料では、Remyを「24時間365日のパーソナルエージェント」と位
関連特集おすすめ
コメント (32)
0/500
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?

今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X(以前はTwitterとして知られていたプラットフォーム)のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました!
では、何が問題だったのでしょうか?OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」(彼らの言葉で、私の言葉ではありません)する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
スウェーデンのAIスタートアップ「Lovable」が主要な資金調達ラウンド終了後、132億ドルの評価額を達成
AI駆動のコーディングツールが注目を集める中、スウェーデンのスタートアップ企業Lovableは大型の資金調達ラウンドを獲得した。同社は30億ドルの調達を目指しており、これにより評価額が昨年12月に記録された66億ドルの倍となる132億ドルに達する可能性がある。この投資をリードするのはMenlo Venturesと見られている。Lovableの魅力は、複雑なコーディングスキルを不要とし、ソフトウェア作成を簡素化する中核の「ヴァイブコーディング」技術に由来する。ユーザーは自然言語で要件を記述するだ
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?





家






