同一モデルで20ポイント差、gpt-oss-120bが示す測定条件の罠
AIモデルの性能比較で広く使われるSWE-bench Verifiedだが、同一モデルでも測定主体によってスコアが大きく変動する実態が明らかになっている。issoh.co.jpの分析によれば、gpt-oss-120bのSWE-bench Verifiedは、OpenAIのモデルカードでは62.4、Qwenが公表した比較表では62.0とほぼ一致する一方、NVIDIAがNemotron 3 Superとの比較で測定した際は41.9と、約20ポイントも低い数値になった。
この差の主因は、NVIDIAがOpenHandsというエージェントの実行枠組みで解かせた点にある。同じ「SWE-bench Verified」という名称でも、モデルにコードベース探索やテスト実行をどう許可するかという実行環境（ハーネス）の違いがスコアを左右する。MMLU-Proでも同様の揺らぎが見られ、OpenAIのモデルカードでは英語以外14言語平均が81.3だったのに対し、Qwenの比較表では78.2と条件の記載がないまま数値だけが並んでいる。
SWE-bench ProではGPT-5でも正答率23%、Verifiedとの乖離
評価の難易度自体を引き上げた新版「SWE-bench Pro」の結果はさらに衝撃的だ。Pat McGuinness氏のレポートによると、SWE-bench Proは実際のソフトウェアエンジニアが数時間から数日かけて解くような長時間タスクを集めた1,865問から構成され、公開データセットだけでも731タスクを含む。このベンチマークでの首位はGPT-5で、正答率はわずか23%。2位はClaude Opus 4.1だが、いずれもSWE-bench Verifiedで見られた60〜70%台のスコアとは次元が異なる低さだった。
これは、従来のSWE-bench Verifiedが2,294問から抽出した500問の「解決可能と確認済み」の問題に限定されているのに対し、Proはより現実に近い複雑なタスクを含むためだ。ベンチマークのバージョンが変わるだけで、同じ「SWE-bench」の名を冠しながら評価対象の難易度がまったく異なる点は、企業が導入判断でスコアを参照する際の大きな落とし穴となる。
Claude 4、Qwen3.6、Grokが競うVerifiedの僅差
各社の最新モデルはSWE-bench Verifiedでしのぎを削っている。AnthropicはClaude 4発表時、Claude Opus 4が72.5%、Sonnet 4が72.7%でSWE-bench首位と主張した。これに対しQwen3.6 PlusはSWE-bench Verifiedで78.8点を記録し、リポジトリ規模の問題解決に強みを示す。一方でGrokとOpenAIの比較では、2026年3月時点でGrok 4.20が75.0%、GPT-5.4が74.9%と0.1ポイント差という僅差が報告された。新興の小型モデルでも、MiniCPM5-2Bという2.6BパラメータのモデルがSWE-bench 46.4%を達成したとされるが、こうした数値もどの版・条件での測定かが明記されない限り単純比較は危うい。
MMLUでも進む高得点化、90%超えの攻防
知識理解を測るMMLUでも高得点化が進む。OpenAIはGPT-4.1が「MMLU推論で90%超の新基準」を打ち立てたと発表し、同モデルはSWE-Bench Verifiedで55%を記録、前モデルGPT-4oの33%から大きく伸びた。ただしこの時点でも、Google Gemini 2.5 Proのエージェントツール利用時63.8%、Anthropic Claude 3.7 Sonnetの62〜63%には及ばなかった。GrokとChatGPTの比較では、MMLUでGrok 3が約84%、GPT-5が86.4%、GPQA DiamondではGrok 3 Thinkモードが84.6%、GPT-5が85.7%と、いずれも僅差の攻防が続いている。
専門家が指摘する「ベンチマークは判決ではない」
こうした数値の乱立に対し、Fello AIの解説記事は「ベンチマークは固定された一つのテストであり判決ではない」と指摘する。同じHumanity's Last Examでも、Claude Fable 5.1は推論強度の設定だけで59.1%、58.7%、55.9%と結果が変わる。SWE-bench自体も「Verified」「Pro」という名称違いで測定対象が異なる「一つの家族の3つの名前」だと説明されている。OpenAIも経済的価値の高いタスクを測る新指標GDPvalを導入するなど、MMLUやSWE-Benchといった従来指標の飽和と限界を認めつつある。スコアを比較する際は、測定主体・版・実行環境まで遡って確認する姿勢が今後ますます重要になる。
