GPT-5、SWE-bench Verifiedで74.9%を記録
OpenAIは2025年8月7日、開発者向けにGPT-5を発表した。同社公式ブログ「開発者向けGPT-5のご紹介」によれば、実際のソフトウェアエンジニアリングタスクを評価するSWE-bench Verifiedにおいて、GPT-5は74.9%のスコアを達成した。これは前モデルであるOpenAI o3の69.1%を上回る数値であり、AI Marketの比較表によればGPT-4oの30.8%と比べると2倍以上の差がついている。GPT-5-main（高速応答モード）でも52.8%を記録しており、推論に時間をかけるthinkingモードとの差が明確になっている。
多言語コーディング能力を測るAider Polyglot（diff方式）でもGPT-5は88.0%を記録し、GPT-5 miniの71.6%、o3の79.6%を上回った。フロントエンド開発の社内テストでは、GPT-5はo3を70%の割合で上回ったという。CursorはGPT-5を「今までで最も賢いモデル」と評し、Windsurfは「他の先進的なモデルと比較してツール呼び出し時のエラー率が半分」と報告している。
効率性でも改善——トークン22%減、ツール呼び出し45%減
注目すべきは、GPT-5が高スコアをより効率的に達成している点だ。OpenAIの発表によれば、推論レベルの高い状況下でもGPT-5はo3と比べて出力トークンを22%、ツール呼び出しを45%削減した。SWE-Lancerのフリーランスコーディングタスク評価では、GPT-5(high)が11万ドル相当のタスクをこなす一方、o3(high)は8.6万ドル相当にとどまっている。
MMLUや医療分野でも高水準
日本語MMLUではGPT-5-thinkingが0.898を記録し、o3の0.890をわずかに上回った。医療分野の評価指標HealthBench Hardでは、GPT-5-thinkingが46.2%を記録し、o3の31.6%、GPT-4oの0.0%を大きく引き離している。AI Marketの分析によれば、ハルシネーション率（Browsing Enabled／FActScore）もGPT-4oの5.1%からGPT-5-mainでは1.0%へ低減し、約80.4%の改善が見られたとされる。
ベンチマーク自体が急速に飽和——Stanford AI Indexの指摘
一方で、こうした高スコアの背景には評価指標そのものの急速な進化と飽和がある。Stanford HAIの2025年AI Indexレポートによれば、SWE-benchは2023年に導入された当初、AIシステムはコーディング問題のわずか4.4%しか解けなかったが、2024年には71.7%まで急伸した。同様にMMMUやGPQAといった新しいベンチマークも、それぞれ18.8ポイント、48.9ポイントの改善を1年で記録している。
同レポートはさらに、MMLU・GSM8K・HumanEventといった従来型ベンチマークが既に「飽和」しており、研究者はHumanity's Last Exam（トップシステムでも正答率8.80%）やFrontierMath（正答率わずか2%）など、より難易度の高い新指標の開発に移行していると指摘する。また米中AIモデルの性能差はMMLU・MMMU・MATH・HumanEvalで2023年末に17.5〜31.6ポイントあったが、2024年末には0.3〜8.1ポイントまで縮小したという。
業界への含意
SWE-bench Verifiedのようなコーディング特化ベンチマークが1年強で急伸し飽和に近づいている現状は、単一スコアだけでモデル選定を行う危うさを浮き彫りにしている。GPT-5の74.9%という数値自体は業界最高水準だが、次世代モデルが同様のペースで指標を塗り替える可能性は高く、開発チームは複数ベンチマークと自社タスクでの実測評価を併用する体制作りが求められる局面に入っている。
