SWE-bench Verified、わずか1年で20ポイント以上向上
ソフトウェア開発タスクの解決力を測る指標「SWE-bench Verified」のスコアが、過去1〜2年で急激に上昇している。スタンフォード大学のAI Indexレポートによれば、SWE-benchでのAIの解決率は2023年時点でわずか4.4%だったが、2024年には71.7%まで跳ね上がったと報告されている（Stanford AI Index 2025）。OpenAIのGPT-4.1はSWE-bench Verifiedで54.6%を記録し、GPT-4oの33.2%から21.4ポイントの向上を示した（Trans-N）。
この流れはGPT-5でさらに加速した。2026年7月23日にOpenAIが発表した「開発者向けGPT-5のご紹介」によれば、GPT-5はSWE-bench Verifiedで74.9%を記録し、前モデルのOpenAI o3の69.1%を上回った。さらに、o3と比べて出力トークンを22%、ツール呼び出しを45%削減しながら同等以上の精度を達成した点が注目される（OpenAI公式）。
GPT-5.6系ではSWE-bench Proで80%超え
2026年7月29日公開のGPT-5.6システムページでは、コーディング能力の評価に新たにSWE-bench Proが用いられている。最上位モデル「GPT-5.6 Sol Ultra」はSWE-bench Proで63.4%、比較対象のClaude Mythos Preview系は80%、Claude Opus 4.8は69.2%を記録した。Terminal-Bench 2.1ではGPT-5.6 Solが88.8%と、複数のフロンティアモデルの中で最高水準を示している（OpenAI GPT-5.6）。Aider polyglotではGPT-5が88.0%を記録し、多言語コーディングにも強みを見せている。
韓国LG AI Research、K-EXAONE 2.0でも大幅改善
米国モデルの独走ではない。韓国LG AI Researchが2026年7月31日にHugging Faceで公開した総パラメータ750BのオープンウェイトモデルK-EXAONE 2.0は、SWE-Bench Verifiedで68.2%を記録した。2025年12月31日公開の前世代（総236B/アクティブ23B）の49.4%から18.8ポイントの改善であり、LGの発表によれば24指標平均は63.3から70.1へ、コーディングおよびエージェンティックコーディング領域は約30%向上したとされる（tech-noisy）。加えて、前世代の独自ライセンスからApache 2.0へ変更されたことで、商用利用の障壁が下がった点も実務上の重要な変化だ。MMLU-Proは83.5、AIME 2026は92.3を記録している。
MMLUなど旧来ベンチマークは飽和状態に
Stanford AI Indexは、MMLUやGSM8K、HumanEvalといった従来型ベンチマークがすでに飽和し、GPQAやMMMU、SWE-benchのような新しい難問ベンチマークへの移行が進んでいると分析している。2023年末時点で米中モデル間のMMLU差は17.5ポイントあったが、2024年末には0.3ポイントまで縮小した。この収束は、単一のベンチマークスコアだけでモデルの優劣を判断することの限界を示している。
専門家の指摘：ベンチマークは「実際の行動」を測れているか
Snorkel AIのビンセント・チェン氏は、現行の主要ベンチマークが3つの次元（タスクの質、分布の多様性、難易度の余白）で単純化されすぎていると指摘する。GPQAは敵対的な複数専門家レビューでタスクの質を担保し、MMLUはSTEM・人文科学・社会科学にわたる57領域の分類法で分布の網羅性を確保している。一方、SWE-benchはLite・Verified・Pro・Multilingual・Multimodalへと進化を続け、研究コミュニティのコーディングエージェント評価を再形成してきたと評価される（BigGoファイナンス）。チェン氏は、今後のブレークスルーはベンチマークが実際のエージェント行動やポリシー遵守を測定できるかにかかると述べており、TauBenchのような「生の正解率を超えたシミュレーター」型評価の重要性を強調している。
企業の意思決定にどう影響するか
SWE-bench Verifiedのスコアが1年余りで33.2%から74.9%、さらにSWE-bench Proでは80%超へと進んだ事実は、コーディングエージェント導入の実務的な閾値が急速に下がっていることを意味する。ただし、K-EXAONE 2.0の事例が示すように、性能向上だけでなくライセンス条件（Apache 2.0化）も選定の決定要因となる。企業は単一のベンチマーク数値ではなく、Terminal-Bench 2.1やAider polyglot、自社データでのLLM-as-judge評価を組み合わせて検証すべき局面に入っている。
