GPT-5のSWE-bench Verifiedは74.9%——GPT-4o比44ptの急伸、コーディング性能競争が新局面へ

GPT-5がSWE-bench Verifiedで74.9%、GPT-4o比44ptの急伸

現実世界のソフトウェアエンジニアリング能力を測る指標SWE-bench Verifiedにおいて、OpenAIのGPT-5-thinkingは74.9%のスコアを記録した。AI Marketのシステムカード分析によれば、これはGPT-4oの30.8%を44ポイント以上上回り、推論特化モデルのOpenAI o3が記録した69.1%も超える数値だ。高速応答型のGPT-5-mainでも52.8%を記録しており、思考モードの有無で20ポイント超の差が生じている点が特徴的である。

SWE-bench Verifiedは、モデルが実際のコードベースと問題説明を受け取り、テストに合格するパッチを生成できるかを検証するベンチマークで、プロンプトやツールの構成に性能が大きく左右される。AIME 2025数学ベンチマークでもGPT-5はツールなしで94.6%、Pythonツール使用時には99.6%を達成し、上位モデルGPT-5 Proはツール使用時に100%の満点に達している。

中間モデルGPT-4.1が示した54.6%という到達点

GPT-5登場に先立つ2025年4月、OpenAIはTrans-Nの分析によればGPT-4.1シリーズを発表し、SWE-bench Verifiedで54.6%を記録した。これはGPT-4o比で21.4%、GPT-4.5比で26.6%の向上に相当する。多言語コーディング差分を測るAiderベンチマークではGPT-4oの2倍のスコアを記録し、GPT-4.5比でも8%向上した。

指示追従能力を測るMultiChallengeでは38.3%とGPT-4o比10.5%向上し、100万トークンのコンテキストウィンドウを備えたことで長文理解も強化された。字幕なし動画の長文理解を測るVideo-MMEでは72.0%を記録し、GPT-4o比6.7%の伸びを見せた。最軽量のGPT-4.1 nanoでもMMLUで80.1%、GPQAで50.3%を達成し、GPT-4o miniを上回った。価格面ではGPT-4oより26%安価に設定され、プロンプトキャッシュ割引も従来の50%から75%へ引き上げられている。

MMLU・多言語性能とハルシネーション率の改善

GPT-5世代では多言語性能の指標として日本語MMLUが用いられ、GPT-5-thinkingは0.898、GPT-5-mainは0.865を記録した。比較対象のOpenAI o3は0.890であり、思考モードを持つ最上位モデルがわずかに上回る結果となった。マルチモーダル推論を測るMMMUでは、GPT-5-thinkingが84.2%を記録し、o3の82.9%、GPT-4oの72.2%を上回っている。

安全性指標にも明確な数値変化が見られる。ブラウジング有効時のハルシネーション率(FActScore基準)は、GPT-5-thinkingが1.0%とGPT-4oの5.1%から約80.4%低減、o3の5.7%からは約82.5%の低減となった。非暴力違法スコアもGPT-4oの0.573からGPT-5-mainで0.701、GPT-5-thinkingで0.790へと改善し、Safe-Completions手法による拒否境界の柔軟化が寄与しているとされる。

コーディングエージェント時代への布石

SWE-bench VerifiedやPaperBenchでの高スコアは、単発のコード生成にとどまらず自律型のコーディングエージェント運用を見据えたものだ。2025年9月にはGPT-5をエンジンとするGPT-5-Codexが登場し、バグ修正や性能改善、研究コードの再現といった高度な開発タスクを高精度で実行できるようになった。医療分野の指標HealthBench HardでもGpt-5-thinkingは46.2%を記録し、GPT-4oの0.0%、o3の31.6%を大きく上回っており、専門領域への応用範囲拡大も示唆されている。

ベンチマークスコアの急伸は開発現場の意思決定にも直結する。SWE-bench Verifiedの実数値が30%台から70%台へと倍増した事実は、コード修正の自動化率がそのまま向上することを意味し、エンジニアリング組織にとってはモデル選定基準の見直しが急務となっている。