首頁OpenAI 抨擊 AI 基準測試：近三分之一的題目存在缺陷，通過率在 8 個月內飆升至 80%
OpenAI 在一篇部落格文章中公開質疑業界領先的基準測試 SWE-Bench Pro，聲稱其 731 項公開測試任務中，約有 30% 存在評估缺陷。 由 Scale AI 開發的 SWE-Bench Pro，旨在評估大型語言模型與 AI 代理的編碼能力。由於該基準能精準模擬真實企業開發情境，並實施嚴格的反作弊措施，因此已成為 AI 軟體工程領域廣受信賴的基準。
OpenAI 在該篇部落格文章中指出一個關鍵跡象：頂級模型在此基準測試中的通過率，僅在八個月內便從 23.3% 躍升至 80.3%。如此迅速的進步令人起疑，OpenAI 認為該基準測試已無法準確衡量模型在真實世界中的軟體開發能力。 問題很可能源於評估機制本身的缺陷，而非模型能力真正實現了飛躍。
經兩條相互驗證的審查途徑顯示，近 30% 的任務被判定為「不合格」。
為驗證此現象，OpenAI 啟動了兩項並行的審查流程。數據點分析揭露了 200 項未通過的任務，佔 731 項公開任務的 27.4%；與此同時，人工標註則標記出 249 項未通過的任務，佔比達 34.1%。 透過比對這兩種方法，OpenAI 估計約 30% 的 SWE-Bench Pro 任務存在缺陷，主要分為四類：測試過於嚴格、提示語不完善、測試覆蓋範圍過窄，以及誤導性提示語。
OpenAI 還分享了一個典型案例：某項任務要求將內容轉換為 Markdown 格式時，行首僅需一個空格，但隱藏的測試標準卻預期需有兩個空格。 結果，即使模型遵循了明示的要求，仍會被判定為錯誤。這種明示指示與隱含要求之間的不匹配，直接扭曲了對模型真實能力的評估，也解釋了通過率不合理飆升的原因。
撤回採用建議並呼籲重建 AI 評估系統
基於這項分析，OpenAI 已正式撤回先前對使用 SWE-Bench Pro 的推薦。該公司認為，未來的基準測試應由經驗豐富的軟體開發人員專門為 AI 評估而設計，而非將原本為人類開發人員設計的測試邏輯轉用於 AI 評估。 若某項產業基準測試中近 30% 的任務存在缺陷，整個 AI 評估系統的可信度便會受到質疑。將焦點從追求分數的競賽轉向對真實工程能力的評估，或許將是 AI 軟體工程評估的下一項關鍵步驟。
相關文章
美國股市觸及歷史裡程碑，人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪，這三位科技領域的巨頭，正推動其各自的企業邁向首次公開募股（IPO）。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市，2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注，成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及，瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元，其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”（vibe coding）技術，該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求，系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業，並擴充套件至 Work
Google 測試 Remy AI 代理，以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道，谷歌正在測試 Remy，這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務，從而簡化專業工作流程和日常事務。目前，Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”，將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實，谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
相關專題推薦
數據分析
適用於 SaaS 和電商團隊的 KPI 監控最佳 AI 異常檢測工具
2026 年最新最佳頂級評分 AI 異常檢測工具，助力 SaaS 和電商團隊的 KPI 監控！XIX.AI 基於嚴格的真實世界測試和每週更新的排名，精心策劃了一套強大且顛覆性的工具合集。您將找到詳細的免費與付費對比洞察，幫助您識別必須嘗試的解決方案，從而提升生產力並釋放您的 AI 優勢。立即探索！
10 個工具
xix.ai
寫作
最適合撰寫長篇 SEO 文章的 AI 大綱生成工具
2026 年最新最佳、評價最高的 AI 大綱生成器，專為長篇 SEO 文章打造，由 XIX.AI 精心精選。這些強大的工具能為快速創作高品質內容提供革命性的協助，大幅提升寫作效率。 透過免費版與付費版的比較、實際測試結果及詳細排名，協助您找出最符合需求且不容錯過的選項。立即探索，釋放您的 AI 優勢。
8 個工具
xix.ai
教育與學習
適用於作業與考試準備的人工智慧學習工具
2026 年最新最佳 AI 學習工具，助您完成作業與備考！XIX.AI 精心整理了一份備受好評的清單，收錄了這些強大且具革命性、經實測驗證的工具，能幫助學生提升效率、簡化作業流程，並在考試中取得優異成績。 獲取免費版與付費版的比較、詳細排名，以及必試選項，以釋放您的 AI 優勢。立即探索！
10 個工具
xix.ai
音樂創作
面向詞曲創作者、旋律片段、主旋律及多語言草稿創作的AI人聲演示工具
2026 年最新最佳 AI 人聲演示工具，專為詞曲創作者、旋律創作者和多語言內容團隊打造！XIX.AI 精心整理了一份經過嚴格真實世界測試的高評分、變革性工具列表。您將找到詳細的免費與付費對比資料、全面排名以及必試選項，幫助您提升創作效率並釋放創意潛力。立即探索，發現滿足您所有內容需求的完美工具！
9 個工具
xix.ai
商業
最適合小型企業的頂尖 AI 競爭情勢分析工具
2026 年最新、最佳且評價最高的中小企業 AI 競爭研究工具！XIX.AI 精心精選了一系列極具威力且能改變遊戲規則的工具，並透過嚴謹的實測與詳細排名，每週更新內容。您可在此找到詳盡的免費版與付費版比較，協助您找出必試的工具，以提升工作效率並獲得競爭優勢。 立即探索，找出最適合您的工具！
9 個工具
xix.ai
圖像編輯
用於電商服裝、皮膚清潔和色彩一致性的 Photoshop AI 修圖工具
2026 年最新最佳 Photoshop AI 修圖工具，適用於電商服裝、皮膚清潔和色彩一致性！這份頂級精選列表包含強大的變革性解決方案，可幫助您提升寫作效率、簡化內容創作並輕鬆實現完美的視覺效果。每個工具都經過實際測試，並透過每週更新的排名進行驗證，同時提供免費與付費版本的詳細對比。由 XIX.AI 支援，這是任何希望發揮 AI 優勢的人必試指南。立即探索！
10 個工具
xix.ai
評論 (0)
0/500
OpenAI 在一篇部落格文章中公開質疑業界領先的基準測試 SWE-Bench Pro，聲稱其 731 項公開測試任務中，約有 30% 存在評估缺陷。 由 Scale AI 開發的 SWE-Bench Pro，旨在評估大型語言模型與 AI 代理的編碼能力。由於該基準能精準模擬真實企業開發情境，並實施嚴格的反作弊措施，因此已成為 AI 軟體工程領域廣受信賴的基準。
OpenAI 在該篇部落格文章中指出一個關鍵跡象：頂級模型在此基準測試中的通過率，僅在八個月內便從 23.3% 躍升至 80.3%。如此迅速的進步令人起疑，OpenAI 認為該基準測試已無法準確衡量模型在真實世界中的軟體開發能力。 問題很可能源於評估機制本身的缺陷，而非模型能力真正實現了飛躍。
經兩條相互驗證的審查途徑顯示，近 30% 的任務被判定為「不合格」。
為驗證此現象，OpenAI 啟動了兩項並行的審查流程。數據點分析揭露了 200 項未通過的任務，佔 731 項公開任務的 27.4%；與此同時，人工標註則標記出 249 項未通過的任務，佔比達 34.1%。 透過比對這兩種方法，OpenAI 估計約 30% 的 SWE-Bench Pro 任務存在缺陷，主要分為四類：測試過於嚴格、提示語不完善、測試覆蓋範圍過窄，以及誤導性提示語。
OpenAI 還分享了一個典型案例：某項任務要求將內容轉換為 Markdown 格式時，行首僅需一個空格，但隱藏的測試標準卻預期需有兩個空格。 結果，即使模型遵循了明示的要求，仍會被判定為錯誤。這種明示指示與隱含要求之間的不匹配，直接扭曲了對模型真實能力的評估，也解釋了通過率不合理飆升的原因。
撤回採用建議並呼籲重建 AI 評估系統
基於這項分析，OpenAI 已正式撤回先前對使用 SWE-Bench Pro 的推薦。該公司認為，未來的基準測試應由經驗豐富的軟體開發人員專門為 AI 評估而設計，而非將原本為人類開發人員設計的測試邏輯轉用於 AI 評估。 若某項產業基準測試中近 30% 的任務存在缺陷，整個 AI 評估系統的可信度便會受到質疑。將焦點從追求分數的競賽轉向對真實工程能力的評估，或許將是 AI 軟體工程評估的下一項關鍵步驟。
美國股市觸及歷史裡程碑，人工智慧與航空航天巨頭準備開啟萬億美元時代
埃隆·馬斯克、山姆·阿爾特曼和達里奧·阿莫迪，這三位科技領域的巨頭，正推動其各自的企業邁向首次公開募股（IPO）。隨著 SpaceX、OpenAI 和 Anthropic——這三家估值接近萬億美元的行業巨頭——即將上市，2026 年被預測將成為美國曆史上新股發行規模最大的一年。這一歷史性的資本激增已引起全球金融界的關注，成為檢驗公共市場吸收如此大規模資金能力的關鍵壓力測試。這些主要融資活動的同步啟動預計將打破 2021 年創下的 1560 億美元紀錄。超級獨角獸的資本博弈每家公司上市的路徑
瑞典人工智慧初創公司Lovable Eyes在完成主要融資輪後估值達132億美元
隨著人工智慧驅動的編碼工具日益普及，瑞典初創公司 Lovable 已獲一輪重大融資。該公司計劃籌集 30 億美元，其估值有望升至 132 億美元——這是去年 12 月記錄的 66 億美元的兩倍。預計 Menlo Ventures 將主導此次投資。Lovable 的吸引力源於其核心的“氛圍編碼”（vibe coding）技術，該技術透過消除對複雜編碼技能的需求來簡化軟體開發。使用者只需以自然語言描述其需求，系統即可自動生成應用程式。這種直觀的方法吸引了個人開發者、設計師和小企業，並擴充套件至 Work
Google 測試 Remy AI 代理，以 Gemini 為重點轉向使用者控制
根據《商業內幕》的報道，谷歌正在測試 Remy，這是 Gemini 的一款全新 AI 個人代理工具。該工具旨在代表使用者執行任務，從而簡化專業工作流程和日常事務。目前，Remy 正在 Gemini 應用的內部員工專屬版本中進行測試。該報告引用了一份內部檔案以及對兩位熟悉該專案的個人的採訪。內部資料將 Remy 描述為“全天候個人代理”，將 Gemini 定位為能夠代表使用者行事的主動助手。接近該專案的訊息人士證實，谷歌員工正在積極測試 Remy。谷歌發言人拒絕提供進一步評論。該報告未提及公開發布
2026 年最新最佳頂級評分 AI 異常檢測工具，助力 SaaS 和電商團隊的 KPI 監控！XIX.AI 基於嚴格的真實世界測試和每週更新的排名，精心策劃了一套強大且顛覆性的工具合集。您將找到詳細的免費與付費對比洞察，幫助您識別必須嘗試的解決方案，從而提升生產力並釋放您的 AI 優勢。立即探索！
10 個工具
xix.ai
2026 年最新最佳、評價最高的 AI 大綱生成器，專為長篇 SEO 文章打造，由 XIX.AI 精心精選。這些強大的工具能為快速創作高品質內容提供革命性的協助，大幅提升寫作效率。 透過免費版與付費版的比較、實際測試結果及詳細排名，協助您找出最符合需求且不容錯過的選項。立即探索，釋放您的 AI 優勢。
8 個工具
xix.ai
2026 年最新最佳 AI 學習工具，助您完成作業與備考！XIX.AI 精心整理了一份備受好評的清單，收錄了這些強大且具革命性、經實測驗證的工具，能幫助學生提升效率、簡化作業流程，並在考試中取得優異成績。 獲取免費版與付費版的比較、詳細排名，以及必試選項，以釋放您的 AI 優勢。立即探索！
10 個工具
xix.ai
2026 年最新最佳 AI 人聲演示工具，專為詞曲創作者、旋律創作者和多語言內容團隊打造！XIX.AI 精心整理了一份經過嚴格真實世界測試的高評分、變革性工具列表。您將找到詳細的免費與付費對比資料、全面排名以及必試選項，幫助您提升創作效率並釋放創意潛力。立即探索，發現滿足您所有內容需求的完美工具！
9 個工具
xix.ai
2026 年最新、最佳且評價最高的中小企業 AI 競爭研究工具！XIX.AI 精心精選了一系列極具威力且能改變遊戲規則的工具，並透過嚴謹的實測與詳細排名，每週更新內容。您可在此找到詳盡的免費版與付費版比較，協助您找出必試的工具，以提升工作效率並獲得競爭優勢。 立即探索，找出最適合您的工具！
9 個工具
xix.ai
2026 年最新最佳 Photoshop AI 修圖工具，適用於電商服裝、皮膚清潔和色彩一致性！這份頂級精選列表包含強大的變革性解決方案，可幫助您提升寫作效率、簡化內容創作並輕鬆實現完美的視覺效果。每個工具都經過實際測試，並透過每週更新的排名進行驗證，同時提供免費與付費版本的詳細對比。由 XIX.AI 支援，這是任何希望發揮 AI 優勢的人必試指南。立即探索！
10 個工具
xix.ai
