第三者の評価機関 Artificial Analysis が10月27日、総合指数 Intelligence Index を v5.0 に作り直した。主な変更は、中身を公開しない課題を入れたことだ。学習データに課題が混じる「汚染」を避けるためである。その結果、オープンウェイトのモデルとクローズドのモデルの差は、v4.3 の3点から12点に広がった。
10月23日には「オープンとクローズの差は3点まで縮む」と報じられた。それからわずか4日で、同じ機関の数字が4倍になったことになる。モデルは何も変わっていない。変わったのは物差しの方だ。2週間前の「差は3点」は、モデルの実力の差だけでなく、公開の課題で測るという物差しの性質も映していた面がある。
何を変えたのか：非公開のコーディングの課題を入れた
Artificial Analysis の発表記事によれば、v5 では2つの評価が加わった。1つは Terminal-Bench Science、もう1つは、テストの中身を伏せたコーディングのベンチマークである。後者について、発表記事は次のように書いている。
FrontierCode 2.0: Cognition's newly-launched private benchmark of real-world coding tasks, graded on whether a repository maintainer would merge the agent's change
訳: FrontierCode 2.0：Cognition が新しく立ち上げた、実務のコーディング課題による非公開ベンチマーク。エージェントの変更をリポジトリのメンテナーがマージするかどうかで採点する。
このベンチマークを作った Cognition は、コーディングのエージェント Devin を開発する会社だ。前の版の FrontierCode 1.1（10月12日）は、36のオープンソースのリポジトリの保守者と一緒に作った100の課題で、採点は GPT-6 Luna が担っていた。2.0 は、採点の基準を「メンテナーがその変更をマージするか」に置き、課題そのものを外に出さない。テストを通ることではなく、実際のリポジトリに取り込まれる品質かどうかを問う、実務寄りの物差しである。
課題を伏せる理由について、発表記事の説明は短い。
The tasks stay private to avoid contamination.
訳: 課題は汚染を避けるために非公開のままにする。
課題が公開されていると、いずれ学習データに入り込み、モデルは解き方を覚えてしまう。点数は伸びても、初めて見る問題を解く力が伸びたとは限らない。非公開にすれば、その抜け道はふさがる。そのかわり、外の人は課題の中身を確かめられない。どちらを取るかの選択で、Artificial Analysis は汚染を避ける方を選んだ。
差は3点から12点に
物差しを変えると、オープンウェイトの側が大きく下がった。発表記事はこう書いている。
The open weights gap widens from 3 points to 12: Kimi K3.1 Pro (weights not yet released) is the top open weights model at 46.
訳: オープンウェイトとの差は3点から12点に広がった。オープンウェイトの首位は Kimi K3.1 Pro（重みはまだ公開されていない）で46点。
Kimi K3.1 Pro は、10月23日の v4.3 では55点で、総合4位だった。上にいたのは Claude Opus 5.5（58点）だけで、差は3点だった。v5 では Kimi K3.1 Pro が46点に下がり、Opus 5.5 は58点のままだ。差は12点に開いた。
ただ、物差しが変わってもクローズドの側がそろって同じ動きをしたわけではない。v4 で53点だった GPT-6 Astra は v5 で57点に上がった。同じく53点だった Gemini 4 Argon は50点に下がった。新しい課題で得をしたモデルも損をしたモデルもある。そのなかで、オープンウェイトの首位は9点下がり、いちばん大きく落ちた。
なお、この「オープンウェイトの首位」は、重みをまだ公開していない。Moonshot は11月4日までに重みを出すと約束しているが、公開版はサイバーの学習データを抜いたものになると報じられている。実際にダウンロードできるモデルの点数は、46点からさらに変わるかもしれない。
首位の入れ替わり：Opus 5.5 の58点を、翌日に Carbon が59点で抜いた
v5 が出た10月27日の時点では、首位は Claude Opus 5.5 の58点だった。翌28日、Google DeepMind が Gemini 4 Carbon を出した。Artificial Analysis は評価記事で、Carbon を新しい1位とした。
Gemini 4 Carbon scores 59 on Intelligence Index v5, driven by leading performance in complex reasoning, knowledge, and scientific tasks.
訳: Gemini 4 Carbon は Intelligence Index v5 で59点。複雑な推論、知識、科学の課題で首位に立ったことが効いた。
v5 での並びは、Gemini 4 Carbon が59点、Claude Opus 5.5 が58点、GPT-6 Astra が57点で、上位3つは2点の幅に収まる。2週間前に出た Gemini 4 Argon は50点だった。Carbon は Argon より9点高い。一方、オープンウェイトの首位は46点で、Carbon とは13点の差になる。
Carbon は、今週はサイバー防御の「Fairwind Program」の一部の参加者にしか提供されていない。モデルカードとフロンティア安全枠組みの報告もまだない。首位のモデルが、一般の開発者にはまだ触れないモデルだということになる。
「差は3点」は何を測っていたのか
v4.3 と v5 の差は、物差しの性質の違いとして読める。公開の課題が多い物差しでは、オープンとクローズの差は小さく見えた。中身を伏せた実務寄りの課題を入れると、差は大きく見えた。汚染が原因の1つだとすれば、公開のベンチマークで追いついたように見えたモデルの一部は、初めて見る課題ではまだ追いついていなかった、ということになる。
ほかの物差しも同じ方向を指している。Epoch AI は10月16日、オープンウェイトのサイバー能力はクローズドより6〜7か月遅れていると見積もった。研究の数学の未発表の問題10問を解く First Proof の第3回では、最良のオープンウェイトの Kimi K3 が0問だった。課題が公開されていない、あるいは新しく作られた場面ほど、差は大きく出ている。12点という数字は、これらとよく合う。
ただし、汚染だけが理由だとは言い切れない。v5 で加わったのは、エージェントとして長くコードを書き、メンテナーが納得する変更を出すという、特定の種類の力を測る課題でもある。この種の力に強いモデルとそうでないモデルがあれば、汚染がなくても順位は動く。GPT-6 Astra が上がり、Gemini 4 Argon が下がったのも、そうした得手不得手の表れかもしれない。
読むときの注意
第一に、v4.x と v5 の点数は比べられない。10月26日に GPT-6.1 Terra が48点・221モデル中25位とされたのも、10月23日に Kimi K3.1 Pro が55点・4位とされたのも、古い物差しの上の数字だ。Opus 5.5 が新旧どちらでも58点なのは、同じ力を示しているわけではない。
第二に、Artificial Analysis の専用の変更履歴のページは見つからなかった。新しい課題がそれぞれ指数の中でどれだけの重みを持つのか、外した課題はあるのかが分からない。12点の差のうち、汚染を除いた分、課題の種類が変わった分、重みづけを変えた分を、外から切り分けることはできない。
第三に、非公開の課題は、外の人が確かめられない。汚染を避けるために課題を伏せれば、そのぶん評価機関と課題を作った会社への信頼に頼ることになる。FrontierCode 2.0 を作った Cognition は、自分でもコーディングのエージェントを売る会社である。GIGAZINE などの報道も、Artificial Analysis 自身の説明をなぞっており、課題を独立に調べた第三者はまだいない。
それでも、今回の作り直しから言えることは1つある。オープンとクローズの差を何点と言うときは、どの物差しで測ったかを一緒に言わなければならない。2週間前の「3点」と今週の「12点」は、どちらも正しい数字だ。違うのは物差しの方である。
