手元のGPUに載るくらいの小さめのAIを5台並べて役割分担させたら、最先端モデルのFable 5に並んだ。そんな測り直しが、海外のエンジニアが集まる掲示板Hacker News（以下HN）で3日のうちに459ポイントを集めたんだよね。ハルもリポジトリとコメント欄、反論記事まで片っ端から追いかけてみた。先に結論を言うと、勝ったのはモデルの賢さというより「何回やり直せたか」と「答え合わせ役がいたか」の差。お金も、最初に言われてたほど安くなかった 🤔
日本の会社にとって：社外に出せないデータを自社のGPUで処理したい会社は、これから「小さいAIを組み合わせれば高いAIの代わりになる」という売り文句をよく聞くことになりそう。そのときに試験の点数だけを見ないで、「何回試したのか」「1問あたりいくらで何分かかったのか」を聞き返すこと。この記事の教訓はそのまま使えるよ。
まず何をやったの？27Bモデル5台のチーム戦
舞台はMemdoorという個人開発のツール。コーディングエージェントを動かすための「ハーネス」（AIの外側にかぶせる作業台みたいな仕組み）で、作者がGitHubのリポジトリで公開してる。今回やったのは、GVS5Hという論文の手順とプロンプト（AIへの指示文）を、そのまま自分のハーネスで組み直すことだった。
使ったのはQwen3.8-27Bという、誰でも使える公開モデル。27Bは「AIの中の調整つまみが270億個ある」という意味で、最先端モデルと比べるとかなり小柄なんだよ。これを5台用意して、計画役、アイデアを出す発案役2台、実際にコードを書く解答役、全体を見張る管理役に分けた。さらに、間違いを直す修正役も足してる。面白いのは、AI同士のやり取りをチャットでつながずに、ディスク上のファイルだけでやらせたところ。机の上にメモを置いて回す感じだから、誰が何を書いたか後から追いやすい。ここは嬉しいポイントだと思った 💡
試験に使ったのはLiveCodeBench Hard。プログラミングの難問を解かせて、書いたコードが正しく動くかで採点する試験の、難しい版だね。Memdoorはその最初の10問を、それぞれ5回ずつ解かせた。比べた相手は2つ。論文の著者が作った元の実装と、Fable 5に1回だけ質問して答えさせた場合だよ。
ちなみに元の論文の実装リポジトリでは、LiveCodeBench v6のHardの問題を新しい順に100問解かせている。Qwen3.8-27Bは1回呼び出しだと66.8%しか解けなかったのに、管理役を付けたら92.4%まで上がって、Fable 5の90.4%を上回った。ここだけ聞くと「小さいAIでも組めば勝てる！」って盛り上がるよね。でも論文自身が、差は2.0ポイントで、ブレを考えた下限はマイナス0.8、p値（偶然でもこのくらいの差が出る確率の目安）は0.88だと書いてる。統計的には「ほぼ互角」という扱いなんだよ。だから「勝った」じゃなくて「並んだ」が正確。
Memdoorの数字はこう出た
リポジトリに載ってるMemdoorの結果はこう。
- Memdoorの5台チーム：平均9.8/10（50回中49回正解）
- 論文著者の実装：9.6/10（50回中48回）
- Fable 5の1回呼び出し：8.0/10（50回中40回）
お金と時間も記録されてる。50回の合計費用は35.79ドルで、使ったのはOpenRouter（いろんな会社のAIを1つの窓口から使った分だけ払えるサービス）。1問あたりの中央値は40分・0.39ドルだった。AIが書き出した量はトークン（AIが文章を数える単位で、単語のかけらくらいの大きさ）で合計1,530万。正解1問あたりに直すと、Qwen組が0.52ドル、Fable 5が0.68ドルになる。
HNの投稿のタイトルは「5台のQwen3.8-27BがLiveCodeBench HardでFable 5に勝つ」。459ポイント、コメント230件で上位に入って、11月4日の時点でリポジトリのスターは358、フォーク（自分用にコピーされた数）は39まで伸びてる。小さいAIを束ねる工夫は、ちょうどHarness Engineering（エージェントの記憶や作業環境を設計する考え方）として注目されてる分野だから、刺さったのも分かる 🚀
ただ、ハルが引っかかったのは「1問40分」のところ。Fable 5は1回呼び出して返事をもらうだけなのに、5台チームは40分かけて相談とやり直しを繰り返してる。これって同じ土俵の勝負なのかな？ この疑問が、そのままコメント欄の中心になっていったんだよね。
待って、勝ったのは賢さじゃなくて試行回数？
HNで一番上についたのは、同じことを何週間も試した開発者の経験談だった。安いモデルの群れで高いモデルに追いつこうと作り込んだ結果、「1つの評価だけを上げるハーネスは驚くほど簡単に作れる。ほかの課題でも通用するものは驚くほど難しい」と書いてる。模試対策で点は上がったのに、本番の別の問題では通用しなかった、みたいな話だよね。
10問しかないのに9.8と9.6を別の数字として扱えるのか、という指摘もあった。10問を5回ずつ解くなら、1回の正誤で平均点が0.2動く。49回と48回の差は、ほんとうに1回分しかないんだよ。このコメントは、紹介記事の文章もClaudeが書いたように読める、とまで言ってた。
11月1日に出た批判記事は、もっと踏み込んでる。問題数、pass@k（k回試して1回でも当たれば正解と数えるやり方）、1問あたりにどれだけ計算させたかが、きちんと書かれていないという指摘だった。5台チームは何度も試せて答え合わせ役もいるのに、Fable 5は1発勝負。だから測ったのはモデルの差じゃなくて試行回数の差で、公平に比べるならFable 5にも5回の試行と同じ検証役を与えるべきだ、という主張なんだよ。記事の締めは「測ったのは財布で、モデルではない」。耳が痛いけど、ハルはこれが一番本質を突いてると思った。
開発者向けの投稿サイトdev.toの記事も、条件のズレを具体的に書いてる。Fable 5は1回呼び出しだったのに、27B側は最大10往復できた。しかも問題についてくる公開テスト（お試し用の採点問題）を自分で動かして、答えを確かめることもできた。答えを出す前に何度も答え合わせできる側が有利なのは、当たり前だよね。
作者自身も但し書きはちゃんと書いてる。試したのは10問を5回ずつだけ。問題は2025年3月29日〜4月6日のもので、モデルの学習データに入っていた可能性を否定できない。Fable 5の数字は論文著者のファイルから引いたもので、Memdoorのハーネスで測り直したものではない。正直、ここまで書いてあるのは誠実だと思う。見出しだけが独り歩きしちゃったんだよね。
費用も、言われてたほど安くなかった
話題になった理由はもう1つあって、それが「Fable 5の9%の費用で並んだ」という数字。でもStartup Fortuneは11月1日、この9%は別のモデル（Qwen3.8 Flash Next）の数字だったと報じている。27Bの場合は51.75ドル対61.11ドルで、Fable 5の約85%。見直し後の正答率は86.4%対87.4%でむしろFable 5がわずかに上、p値は0.73で差はない、と伝えている。
dev.toの記事でも、27Bに管理役を付けた構成は1回あたり47.82ドル対61.11ドルで、Fable 5の約78%と計算されてる。安いのは確かだけど、9割引きどころか1〜2割引きくらい。しかも1問に40分かかる。速さも込みで考えると、ふだん使いで「こっちのほうがお得」とは言いにくいのが実情だよね 📊
Memdoorの「正解1問あたり0.52ドル対0.68ドル」という比較も、Fable 5側は1発勝負の数字。Fable 5にもやり直しを何回か許せば正解数は増えるはずで、そうなると1問あたりの値段の差はもっと縮むかもしれない。どっちの比べ方でも「圧倒的に安い」とは言えない、というのがハルの読みだよ。
もう1つ大事なのが、手元で動かすときの圧縮の問題。HNには、R9700と5060 Tiという2種類のGPUで実際に比べた人のコメントがあった。モデルを強く量子化（中の数字の細かさを落として、ファイルを小さく軽くすること）した版と、Q6という比較的ゆるい圧縮の版では、実務での出来が「まったく別物」だったそう。しかも量子化版を配っている側は、どのモデルでも満点近くが出てしまう簡単な評価しか見せない、とも。試験の点が同じでも、実際の仕事の出来は違うかもしれないってことだね。
じゃあ、手元で動かす価値はある？
それでも、このプロジェクトから持ち帰れるものはあると思う。まずは規模感。まとめ記事によると、27Bモデルは16GBのGPU1枚に載る大きさで、5台分を同じGPUで順番に回し、発案役の2台だけを同時に動かす作りになっているそう。高いサーバーを何台も並べなくても試せる設計なんだよね。
リポジトリには、Qwen3-Coder-30B-A3BというモデルをGoogleのクラウドにあるL4というGPU（1時間あたり約0.71ドル）で動かす構成も載ってる。Ollama、llama.cpp、LM Studio、vLLMといった、AIを自分のパソコンやサーバーで動かすための定番ソフトで使う手順もある。途中で判断用の小さいモデルを挟んだら、コードについて質問するときの入力が54,661トークンから14,367トークンへ74%減った、とも報じられている。AIに読ませる量が減るほどお金も時間も助かるから、地味だけど効く工夫だと思った 🛠️
ハルの結論はこう。「小さいAIを5台チームにすれば最先端モデルに勝てる」は言いすぎ。正確には「何度もやり直せて答え合わせ役もいれば、小さいAIでも難問の正解率をかなり上げられる。ただし時間はかかるし、費用は1〜2割安い程度」。データを外に出せなくて、時間がかかってもいい仕事なら、十分に選択肢になる。逆にすぐ答えがほしい仕事なら、素直に大きいモデルを使ったほうがいい。
一番の教訓は、AIの比較表を見たら「何問で、何回試して、1問いくらで何分かかったか、相手にも同じ条件を与えたか」を確かめること。そこを読み飛ばすと話がどれだけ膨らむか、今回の騒ぎはいい見本だったよね。
