DeepCoderは、14Bオープンモデルで高いコーディング効率を実現します

DeepCoder-14Bの紹介：オープンソースコーディングモデルの新たなフロンティア

Together AIとAgenticaのチームは、DeepCoder-14Bを発表しました。これは、OpenAIのo3-miniのようなトップレベルのプロプライエタリモデルと肩を並べる画期的なコーディングモデルです。このエキサイティングな開発は、DeepSeek-R1を基盤としており、高性能なコード生成と推論を実際のアプリケーションに統合するための柔軟性を向上させています。さらに、開発者はモデルを完全にオープンソース化し、トレーニングデータ、コード、ログ、システム最適化を含めるという称賛すべきステップを踏みました。この動きは、研究を加速し、分野の進歩を促進するでしょう。

コンパクトなパッケージでの驚異的なパフォーマンス

DeepCoder-14Bは、LiveCodeBench（LCB）、Codeforces、HumanEval+などのさまざまなコーディングベンチマークで驚くべき結果を示しています。研究チームの実験では、モデルのパフォーマンスがo3-mini（低）やo1といったリーディングモデルと同等であることが強調されています。「私たちのモデルは、すべてのコーディングベンチマークで強力なパフォーマンスを示し…o3-mini（低）やo1のパフォーマンスに匹敵します」と、研究者たちはブログ投稿で誇らしげに述べています。

特に興味深いのは、主にコーディングタスクでトレーニングされているにもかかわらず、DeepCoder-14Bが数学的推論でも顕著な向上を示し、AIME 2024ベンチマークで73.8%のスコアを達成した点です。これは、ベースモデルであるDeepSeek-R1-Distill-Qwen-14Bに比べて4.1%の向上を示しており、コードに対する強化学習（RL）で磨かれた推論スキルが他の領域にも効果的に転移することを示唆しています。

DeepCoder-14Bの最もエキサイティングな特徴は、その効率性です。140億のパラメータしか持たないにもかかわらず、他の多くのリーディングモデルよりも大幅に小さく、リソース効率が高いながらも高いパフォーマンスを達成しています。

DeepCoderの成功の背後にある革新

DeepCoder-14Bの開発には、強化学習を使用したコーディングモデルのトレーニングにおけるいくつかの課題を克服する必要がありました。主なハードルの一つは、トレーニングデータのキュレーションでした。数学的タスクとは異なり、高品質で検証可能なデータが豊富にある一方で、コーディングデータは不足しがちです。DeepCoderチームは、さまざまなデータセットから例を収集しフィルタリングする厳格なパイプラインを実装し、有効性、複雑さ、重複の回避を確保することでこれに対処しました。このプロセスにより、24,000の高品質な問題が得られ、RLトレーニングのための強固な基盤が形成されました。

チームはまた、生成されたコードが設定された時間内にすべてのサンプリングされたユニットテストを正常に通過した場合にのみモデルに報酬を与える、シンプルな報酬関数を考案しました。このアプローチは、高品質なトレーニング例と組み合わせることで、モデルが近道を利用するのではなく、核心的な問題解決に焦点を当てることを保証しました。

DeepCoder-14Bのトレーニングアルゴリズムは、DeepSeek-R1で成功したGroup Relative Policy Optimization（GRPO）を基盤としていますが、チームは安定性を高め、より長いトレーニング期間を可能にするために大幅な改良を加えました。

さらに、チームはモデルのコンテキストウィンドウを段階的に拡張し、短いシーケンスから始めて徐々に増やしました。また、複雑なプロンプトを解決する際にコンテキスト制限を超えることに対してモデルがペナルティを受けないようにするフィルタリング手法も導入しました。

研究者たちはそのアプローチを次のように説明しています：「長コンテキスト推論を維持しながら効率的なトレーニングを可能にするために、オーバーロングフィルタリングを導入しました…この手法は、トレーニング中に切り捨てられたシーケンスをマスクすることで、現在のコンテキスト制限を超える思慮深いが長い出力を生成することに対してモデルがペナルティを受けないようにします。」トレーニングは16Kから32Kのコンテキストウィンドウにスケールアップし、最大64Kトークンが必要な問題に取り組むことができるようになりました。

長コンテキストRLトレーニングの最適化

コーディングのような長いシーケンスを生成するタスクで、RLを使用して大規模モデルをトレーニングすることは、非常に遅く、リソースを大量に消費します。モデルが例ごとに数千のトークンを生成するサンプリングステップは、応答の長さが異なるため、しばしば大きな遅延を引き起こします。

これに対処するために、チームは、人間からのフィードバックによる強化学習（RLHF）のためのオープンソースverlライブラリの最適化された拡張であるverl-pipelineを開発しました。彼らの「One-Off Pipelining」イノベーションは、サンプリングとモデル更新を再構築してボトルネックを最小限に抑え、アクセラレータのアイドル時間を削減しました。

彼らの実験では、ワンオフパイプラインが標準的な方法に比べてコーディングRLタスクを最大2倍高速化できることが示されました。この最適化は、DeepCoder-14Bを合理的な時間枠（32 H100で2.5週間）でトレーニングする上で重要であり、コミュニティが活用できるようにverl-pipelineの一部としてオープンソース化されています。

企業への影響とオープンソースコラボレーション

研究者は、DeepCoder-14Bのすべてのトレーニングおよび運用アーティファクトを、GitHubおよびHugging Faceで寛容なライセンスの下で公開しました。「私たちのデータセット、コード、トレーニングレシピを完全に共有することで、コミュニティが私たちの成果を再現し、RLトレーニングをすべての人にアクセス可能にすることを可能にします」と彼らは述べています。

DeepCoder-14Bは、AIランドスケープにおける効率的でオープンにアクセス可能なモデルの成長トレンドを象徴しています。企業にとって、これはより多くの選択肢と高度なモデルへのアクセシビリティの向上を意味します。高性能なコード生成と推論は、もはや大企業や高額なAPI料金を支払う意欲のある者に限定されません。あらゆる規模の組織がこれらの能力を活用し、特定のニーズに合わせたソリューションをカスタマイズし、環境内で安全に展開することができます。

このシフトは、AIの採用障壁を下げ、オープンソースコラボレーションによって推進されるより競争力のある革新的なエコシステムを育む準備ができています。