家OpenAIがAIベンチマークを痛烈に批判：問題の3分の1近くが不備、合格率は8ヶ月で80％に急上昇
OpenAIはブログ記事の中で、業界をリードするベンチマークである「SWE-Bench Pro」に公然と異議を唱え、その731の公開テストタスクのうち約30％に評価上の欠陥があると主張した。 Scale AIによって開発されたSWE-Bench Proは、大規模言語モデルやAIエージェントのコーディング能力を評価するために設計されている。実世界の企業開発を忠実に再現し、厳格な不正防止策を講じていることから、AIソフトウェアエンジニアリング分野において広く信頼されているベンチマークとなっている。
OpenAIはブログ記事の中で、重要な兆候として、このベンチマークにおけるトップクラスのモデルの合格率が、わずか8ヶ月で23.3％から80.3％へと急上昇したことを指摘している。このような急速な進歩は不審であり、OpenAIは、このベンチマークではもはやモデルの実世界におけるソフトウェア開発スキルを正確に測定できないと主張している。 この問題は、モデルの能力における真の飛躍ではなく、評価方法そのものの欠陥に起因している可能性が高い。
相互検証された2つのレビュー経路により、タスクの30％近くが「不適格」と判定されたことが明らかになった。
これを検証するため、OpenAIは2つの並行したレビュープロセスを開始した。データポイント分析では、731件の公開タスクのうち200件（27.4％）が不合格と判明した。一方、手動によるアノテーションでは、249件（34.1％）のタスクが不合格と判定された。 両手法を照合した結果、OpenAIはSWE-Bench Proのタスクの約30％に欠陥が含まれていると推定しており、それらは「過度に厳格なテスト」「不適切なプロンプト」「テストカバレッジの狭さ」「誤解を招くプロンプト」という4つのカテゴリーに分類される。
OpenAIは典型的な例も紹介している。あるタスクでは、コンテンツをMarkdownに変換する際に行の先頭にスペースを1つ入れるよう求められていたが、隠れたテスト要件ではスペースを2つ入れることが想定されていた。 その結果、モデルが明示された要件に従ったとしても、不正解と判定されてしまう。このような明示的な指示と隠れた要件との不一致は、モデルの真の実力の評価を直接歪め、合格率の不合理な急上昇を説明している。
採用推奨の撤回とAI評価システムの再構築を求める声
この分析に基づき、OpenAIはSWE-Bench Proの使用を推奨していた以前の勧告を正式に撤回した。同社は、将来のベンチマークは、人間の開発者向けに設計されたテストロジックを流用するのではなく、経験豊富なソフトウェア開発者がAI評価専用に作成すべきであると考えている。 業界標準のベンチマークのタスクの30％近くが欠陥を抱えている場合、AI評価システム全体の信頼性が疑問視されることになる。スコア追求型のコンテストから、真のエンジニアリング能力の評価へと焦点を移すことが、AIソフトウェアエンジニアリング評価における次の重要な一歩となるかもしれない。
関連記事
ByteDanceのSeedがグローバルキャンパス採用を開始、大規模モデルのトップ人材獲得に向けて仮想株式を提供
大規模言語モデルの競争環境において、トップクラスのタレントを確保することは、最も重要な戦略的資産であり続けています。4月1日、ByteDanceは、大規模モデル人材育成プログラムの一部であるSeedグローバルキャンパス採用イニシアチブの開始を発表しました。このキャンペーンは2027年卒の卒業予定者と現在のインターン生を対象としており、世界中のAI分野におけるエリート研究開発者およびエンジニアの発掘と確保を目指しています。拡大：世界中から100名の「AIシード」を発掘急速な技術進歩の中で、B
法的争訟の中でSunoが曲に透かしを入れる
Sunoは、ユーザーがAI生成音楽を作成できるプラットフォームであり、プラットフォームが生成したトラックにラベルを付け、ダウンロードを制限し、不正な複製を抑制するためにコミュニティ基準を更新する新機能を公開した。これらの更新は、Sunoがレコードレーベルやアーティスト団体からの複数の訴訟に直面している時期に実施される。共同創設者兼CEOのMikey Shulmanはブログ記事で、プラットフォームの目標が、より広い層にAI音楽ツールのアクセスを拡大しながら、オリジナルの創作を促進することに重点を
ムスク氏はGrokの構築でユーザーのコードが漏洩したことを認め、すべての履歴データを消去すると約束した。
エロン・マスクは、Grok Buildをめぐるプライバシー問題に直接言及し、まず「True」という単純な回答で事件の存在を確認した。彼は、SpaceXAIに以前アップロードされたすべてのユーザーデータを永久に削除すると約束し、「1バイトも残さない」と述べた。これは、主要なテックリーダーが公に過ちを認め、ユーザーデータを自発的に削除したというAI業界初の事例である。安全研究者による「フィッシング」テストでデータ漏洩の具体的な証拠が明らかになったこの問題は、独立したAIセキュリティ研究者である@
関連特集おすすめ
デザインとアート
キャラクターシート、ムードボード、ピッチデッキ向けのAIビジュアルスタイルリファレンスツール
2026年最新の、キャラクターシート、ムードボード、ピッチデッキに最適なAIビジュアルスタイルリファレンスツールがXIX.AIに登場！この厳選された高評価ツール一覧には、実環境での厳格なテストをクリアした、業界に革新をもたらす強力なツールが掲載されています。 無料版と有料版の比較、詳細なランキング、そして創造性を高め、ワークフローを効率化するためにぜひ試したいツールが満載です。今すぐチェックして、生産性を向上させるあなたにぴったりのツールを見つけましょう！
11 ツール
xix.ai
SEO
検索戦略に最適なAI SERP分析ツール
2026年版、検索戦略に最適な高評価のAI SERP分析ツールは、XIX.AIが実環境での厳格なテストを経て厳選し、毎週ランキングを更新しています。これらの強力なツールを活用すれば、隠れた最適化の機会を発見し、コンテンツのパフォーマンスを向上させ、検索分野で競争優位性を獲得することができます。今すぐ、検索戦略を強化するのに最適なツールを見つけてください。今すぐチェック！
13 ツール
xix.ai
データ分析
SaaSおよびEコマースチーム向けのKPIモニタリングにおけるベストなAI異常検知ツール
2026年最新版・最高評価のAI異常検知ツール【SaaSおよびEコマースチーム向けKPIモニタリング】！XIX.AIは、厳格な実世界テストと週次更新のランキングに基づき、革新的な強力なコレクションを厳選しました。生産性を向上させ、AIの優位性を引き出すために必須のソリューションを見極めるのに役立つ、無料版と有料版の詳細な比較インサイトが見つかります。今すぐチェックしましょう！
10 ツール
xix.ai
書き込み
長文SEO記事に最適なAIアウトライン生成ツール
XIX.AIが厳選した、2026年最新のロングフォームSEO記事向け高評価AIアウトライン生成ツール。これらの強力なツールは、高品質なコンテンツを迅速に作成するための画期的な支援を提供し、執筆効率を大幅に向上させます。 無料版と有料版の比較、実地テスト、詳細なランキングを参考に、ご自身のニーズに合った「ぜひ試すべき」ツールを見つけてください。今すぐチェックして、AIの力を最大限に活用しましょう。
8 ツール
xix.ai
教育と学習
宿題や試験対策に役立つAI学習ツール
2026年版 宿題や試験対策に最適な最新AI学習ツール！XIX.AIは、学生の生産性を高め、宿題の完了を効率化し、実際の試験で好成績を収めるのに役立つ、画期的な高評価ツールを厳選して紹介しています。 無料版と有料版の比較、詳細なランキング、そしてAIの力を最大限に引き出すためにぜひ試すべきツールをご紹介します。今すぐチェックしましょう！
10 ツール
xix.ai
作曲
ソングライター向けAIボーカルデモツール：フック、トップライン、多言語のドラフトセッション
2026年版 ソングライター、フッククリエイター、多言語コンテンツ制作チームのための最新・最高のAIボーカルデモツール！XIX.AIは、厳格な実地テストを経て、業界に革新をもたらす強力なツールを厳選し、高評価のランキングリストを作成しました。 無料版と有料版の詳細な比較データ、包括的なランキング、そして創作効率を高め、創造力を最大限に引き出すためにぜひ試すべきツールが満載です。今すぐチェックして、あらゆるコンテンツ制作ニーズに最適なツールを見つけましょう！
9 ツール
xix.ai
コメント (0)
0/500
OpenAIはブログ記事の中で、業界をリードするベンチマークである「SWE-Bench Pro」に公然と異議を唱え、その731の公開テストタスクのうち約30％に評価上の欠陥があると主張した。 Scale AIによって開発されたSWE-Bench Proは、大規模言語モデルやAIエージェントのコーディング能力を評価するために設計されている。実世界の企業開発を忠実に再現し、厳格な不正防止策を講じていることから、AIソフトウェアエンジニアリング分野において広く信頼されているベンチマークとなっている。
OpenAIはブログ記事の中で、重要な兆候として、このベンチマークにおけるトップクラスのモデルの合格率が、わずか8ヶ月で23.3％から80.3％へと急上昇したことを指摘している。このような急速な進歩は不審であり、OpenAIは、このベンチマークではもはやモデルの実世界におけるソフトウェア開発スキルを正確に測定できないと主張している。 この問題は、モデルの能力における真の飛躍ではなく、評価方法そのものの欠陥に起因している可能性が高い。
相互検証された2つのレビュー経路により、タスクの30％近くが「不適格」と判定されたことが明らかになった。
これを検証するため、OpenAIは2つの並行したレビュープロセスを開始した。データポイント分析では、731件の公開タスクのうち200件（27.4％）が不合格と判明した。一方、手動によるアノテーションでは、249件（34.1％）のタスクが不合格と判定された。 両手法を照合した結果、OpenAIはSWE-Bench Proのタスクの約30％に欠陥が含まれていると推定しており、それらは「過度に厳格なテスト」「不適切なプロンプト」「テストカバレッジの狭さ」「誤解を招くプロンプト」という4つのカテゴリーに分類される。
OpenAIは典型的な例も紹介している。あるタスクでは、コンテンツをMarkdownに変換する際に行の先頭にスペースを1つ入れるよう求められていたが、隠れたテスト要件ではスペースを2つ入れることが想定されていた。 その結果、モデルが明示された要件に従ったとしても、不正解と判定されてしまう。このような明示的な指示と隠れた要件との不一致は、モデルの真の実力の評価を直接歪め、合格率の不合理な急上昇を説明している。
採用推奨の撤回とAI評価システムの再構築を求める声
この分析に基づき、OpenAIはSWE-Bench Proの使用を推奨していた以前の勧告を正式に撤回した。同社は、将来のベンチマークは、人間の開発者向けに設計されたテストロジックを流用するのではなく、経験豊富なソフトウェア開発者がAI評価専用に作成すべきであると考えている。 業界標準のベンチマークのタスクの30％近くが欠陥を抱えている場合、AI評価システム全体の信頼性が疑問視されることになる。スコア追求型のコンテストから、真のエンジニアリング能力の評価へと焦点を移すことが、AIソフトウェアエンジニアリング評価における次の重要な一歩となるかもしれない。
ByteDanceのSeedがグローバルキャンパス採用を開始、大規模モデルのトップ人材獲得に向けて仮想株式を提供
大規模言語モデルの競争環境において、トップクラスのタレントを確保することは、最も重要な戦略的資産であり続けています。4月1日、ByteDanceは、大規模モデル人材育成プログラムの一部であるSeedグローバルキャンパス採用イニシアチブの開始を発表しました。このキャンペーンは2027年卒の卒業予定者と現在のインターン生を対象としており、世界中のAI分野におけるエリート研究開発者およびエンジニアの発掘と確保を目指しています。拡大：世界中から100名の「AIシード」を発掘急速な技術進歩の中で、B
法的争訟の中でSunoが曲に透かしを入れる
Sunoは、ユーザーがAI生成音楽を作成できるプラットフォームであり、プラットフォームが生成したトラックにラベルを付け、ダウンロードを制限し、不正な複製を抑制するためにコミュニティ基準を更新する新機能を公開した。これらの更新は、Sunoがレコードレーベルやアーティスト団体からの複数の訴訟に直面している時期に実施される。共同創設者兼CEOのMikey Shulmanはブログ記事で、プラットフォームの目標が、より広い層にAI音楽ツールのアクセスを拡大しながら、オリジナルの創作を促進することに重点を
ムスク氏はGrokの構築でユーザーのコードが漏洩したことを認め、すべての履歴データを消去すると約束した。
エロン・マスクは、Grok Buildをめぐるプライバシー問題に直接言及し、まず「True」という単純な回答で事件の存在を確認した。彼は、SpaceXAIに以前アップロードされたすべてのユーザーデータを永久に削除すると約束し、「1バイトも残さない」と述べた。これは、主要なテックリーダーが公に過ちを認め、ユーザーデータを自発的に削除したというAI業界初の事例である。安全研究者による「フィッシング」テストでデータ漏洩の具体的な証拠が明らかになったこの問題は、独立したAIセキュリティ研究者である@
2026年最新の、キャラクターシート、ムードボード、ピッチデッキに最適なAIビジュアルスタイルリファレンスツールがXIX.AIに登場！この厳選された高評価ツール一覧には、実環境での厳格なテストをクリアした、業界に革新をもたらす強力なツールが掲載されています。 無料版と有料版の比較、詳細なランキング、そして創造性を高め、ワークフローを効率化するためにぜひ試したいツールが満載です。今すぐチェックして、生産性を向上させるあなたにぴったりのツールを見つけましょう！
11 ツール
xix.ai
2026年版、検索戦略に最適な高評価のAI SERP分析ツールは、XIX.AIが実環境での厳格なテストを経て厳選し、毎週ランキングを更新しています。これらの強力なツールを活用すれば、隠れた最適化の機会を発見し、コンテンツのパフォーマンスを向上させ、検索分野で競争優位性を獲得することができます。今すぐ、検索戦略を強化するのに最適なツールを見つけてください。今すぐチェック！
13 ツール
xix.ai
2026年最新版・最高評価のAI異常検知ツール【SaaSおよびEコマースチーム向けKPIモニタリング】！XIX.AIは、厳格な実世界テストと週次更新のランキングに基づき、革新的な強力なコレクションを厳選しました。生産性を向上させ、AIの優位性を引き出すために必須のソリューションを見極めるのに役立つ、無料版と有料版の詳細な比較インサイトが見つかります。今すぐチェックしましょう！
10 ツール
xix.ai
XIX.AIが厳選した、2026年最新のロングフォームSEO記事向け高評価AIアウトライン生成ツール。これらの強力なツールは、高品質なコンテンツを迅速に作成するための画期的な支援を提供し、執筆効率を大幅に向上させます。 無料版と有料版の比較、実地テスト、詳細なランキングを参考に、ご自身のニーズに合った「ぜひ試すべき」ツールを見つけてください。今すぐチェックして、AIの力を最大限に活用しましょう。
8 ツール
xix.ai
2026年版 宿題や試験対策に最適な最新AI学習ツール！XIX.AIは、学生の生産性を高め、宿題の完了を効率化し、実際の試験で好成績を収めるのに役立つ、画期的な高評価ツールを厳選して紹介しています。 無料版と有料版の比較、詳細なランキング、そしてAIの力を最大限に引き出すためにぜひ試すべきツールをご紹介します。今すぐチェックしましょう！
10 ツール
xix.ai
2026年版 ソングライター、フッククリエイター、多言語コンテンツ制作チームのための最新・最高のAIボーカルデモツール！XIX.AIは、厳格な実地テストを経て、業界に革新をもたらす強力なツールを厳選し、高評価のランキングリストを作成しました。 無料版と有料版の詳細な比較データ、包括的なランキング、そして創作効率を高め、創造力を最大限に引き出すためにぜひ試すべきツールが満載です。今すぐチェックして、あらゆるコンテンツ制作ニーズに最適なツールを見つけましょう！
9 ツール
xix.ai
