SWE-bench Verified、GPT-5.2で80.0%到達も『59.4%に欠陥』——OpenAIがスコア報告停止、ベンチマーク飽和の実態

SWE-bench Verifiedスコアの急上昇——GPT-5からGPT-5.2へ

コーディングエージェントの標準的評価指標であるSWE-bench Verifiedのスコアが、この1年で急速に上昇している。AI Marketによれば、2025年8月発表のGPT-5-thinkingは74.9%を記録し、旧世代のGPT-4o(30.8%)やOpenAI o3(69.1%)を大きく上回った。さらにOpenAI公式発表によると、2026年8月13日にリリースされたGPT-5.2はSWE-bench Verifiedで80.0%に到達し、前モデルGPT-5.1の76.3%から3.7ポイント改善した。

他社モデルも追随している。Swfteのリーダーボードによれば、DeepSeek V4 ProはSWE-bench Verifiedで80.6%を記録し、Gemini 3.1 Proと同水準に並んだ。MiniMax M3も80.5%と僅差で続く。Stanford HAIの2025 AI Indexレポートは、SWE-benchで2023年にAIが解けた問題はわずか4.4%だったが、2024年には71.7%まで跳ね上がったと報告しており、わずか2〜3年で解決率が桁違いに向上したことになる。

OpenAIが監査、59.4%に欠陥ありとしてスコア報告を停止

この急上昇の裏で、ベンチマーク自体の信頼性に疑問が投げかけられている。X上の投稿によれば、2024年8月に公開されたSWE-bench Verifiedは人手で確認した500問から成り、コーディングエージェントの標準指標として広く使われてきた。しかしOpenAIは2026年2月、監査した問題の59.4%でテストに欠陥があったと発表し、以後はスコアの報告自体をやめている。

この問題は今回突然浮上したものではない。GIGAZINEは2025年9月、OpenAIの研究チームが「SWE-Bench Proの約30%が壊れている」と報告し、AIのコーディング能力を測る代表的ベンチマークが「もはや無意味」になりつつあると説明したと伝えている。初期に解けなかった問題を精査すると、モデル側ではなく問題設計自体に不備があるケースが多数見つかったという。

より難しいSWE-bench Proでも解決率45%未満

欠陥が指摘されにくいとされる、より難易度の高いSWE-bench Proでも、最先端モデルの解決率は45%未満にとどまる。OpenAIの発表では、GPT-5.2ThinkingのSWE-Bench Pro(公開版)スコアは55.6%で、GPT-5.1の50.8%から上昇したものの、Verifiedの80.0%と比べれば依然として大きな差がある。

他社比較でも差は明確だ。Swfteの調査では、GLM-5.2がSWE-bench Proで62.1%を記録し、GPT-5.5の58.6%を上回った。MIT公開ライセンスの自前運用可能なモデルが、1Mトークンあたり入力5ドル・出力30ドルの米国製フラッグシップモデルをエージェント型コーディングタスクで上回った点は、ローカルLLM活用を検討する企業にとって注目に値する。

MMLUの飽和と新指標への移行

コーディング以外の主要指標でも同様の飽和現象が起きている。Stanford HAIのレポートは、MMLU・GSM8K・HumanEvalといった従来型ベンチマークが飽和状態にあると指摘し、研究者らはHumanity's Last Exam(最高スコアでもわずか8.80%)やFrontierMath(解決率わずか2%)、BigCodeBench(成功率35.5%、人間基準97%)といった、より難易度の高い新指標の開発に移行していると報告している。

OpenLM.aiのChatbot Arenaランキングでは、MMLU-Proに加えGDPval-AA、Terminal-Bench、GPQA Diamond、AA-Omniscienceなど10種類の評価を組み合わせた複合指標「AAII」が採用されており、単一ベンチマークへの依存を避ける流れが定着しつつある。GPT-5.2発表資料でもGPQA Diamond(92.4%)、FrontierMath Tier1-3(40.3%)、ARC-AGI-2(52.9%)など複数指標が併記されている。

業界への影響と今後の焦点

ベンチマーク欠陥の発覚は、AIモデルの性能比較そのものの信頼性に直結する。X上の投稿は「欠陥のあるテストを見つけ、信頼できる評価基盤を作るのは、テストと品質保証の経験を持つ人の仕事だ」と指摘し、統計・実験設計の専門家が評価の汚染や幻覚の測り方を再検証する必要性を訴えている。中国系モデルと米国モデルの性能差もStanford HAIの分析によれば、2023年末の17.5〜31.6ポイント差から2024年末には0.3〜8.1ポイント差まで縮小しており、単一スコアでの序列付けはますます困難になっている。企業がAI導入を判断する際は、公表スコアの発表時期・監査状況・比較対象バージョンを個別に確認する姿勢が不可欠になっている。